к оглавлению

Энтропия непрерывного источника информации

Энтропия непрерывного источника информации должна быть бесконечна, т. к. неопределенность выбора из бесконечно большого числа возможных состояний бесконечно велика. (на самом деле это только некорректная математическая модель, так как реальные сигналы занимают ограниченный спектр частот, а значит, могут быть представлены дискретными значениями через некоторый шаг, определяемый теоремой Котельникова; кроме того реальные сигналы не могут быть измерены с бесконечной точностью, так как имеются шумы линии и ошибка измерения, а это значит, что по шкале динамического диапазона непрерывный сигнал тоже может быть представлен конечным числом различимых квантовых уровней - примечание К.А. Хайдарова)

Разобьем диапазон изменения непрерывной случайной величины U на конечное число n малых интервалов Du. При реализации значений u в интервале (un, un+Du) будем считать, что реализовалось значение un дискретной случайной величины U', вероятность реализации которой:

p(un<u<un+Du) =p(u) du » p(un) Du.

Энтропия дискретной величины U':

H(U') = -p(un) Du log (p(un) Du).

Заменяем log (p(un) Du) = log p(un)+log Du, принимаем во внимание, что сумма p(un)Du по всем возможным значениям un равна 1, и получаем:

H(U') = -p(un) Du log p(un) – log Du. (1.4.4)

В пределе, при Du ® 0, получаем выражение энтропии для непрерывного источника:

H(U) = -p(u) log p(u) du –. (1.4.5)

Значение энтропии в (1.4.5), как и ожидалось, стремится к бесконечности за счет второго члена выражения. Для получения конечной характеристики информационных свойств непрерывных сигналов используют только первый член выражения (1.4.5), получивший название дифференциальной энтропии. Ее можно трактовать, как среднюю неопределенность выбора произвольной случайной величины по сравнению со средней неопределенностью выбора случайной величины U', имеющей равномерное распределение в диапазоне (0-1). Действительно, для такого распределения p(un) = 1/N, Du = 1/N, и при N ® Ґ из (1.4.4) следует:

H(U') = - (log N)/N - log Du ® -.

Соответственно, разность энтропий дает дифференциальную энтропию:

h(U) = H(U) – H(U') = -p(u) log p(u) du. (1.4.6)

Дифференциальная энтропия не зависит от конкретных значений величины U:

h(U+a) = h(U), a = const,

но зависит от масштаба ее представления:

h(kU) = h(U) + log k.

Практика анализа и обработки сигналов обычно имеет дело с сигналами в определенном интервале [a, b] их значений, при этом максимальной дифференциальной энтропией обладает равномерное распределение значений сигналов:

h(U) = -p(u) log p(u) du = log (b-a).

По мере сужения плотности распределения значение h(U) уменьшается, и в пределе при p(u) ® d(u-c), a<c<b стремится к нулю.

к оглавлению


Знаете ли Вы, что такое мысленный эксперимент, gedanken experiment?
Это несуществующая практика, потусторонний опыт, воображение того, чего нет на самом деле. Мысленные эксперименты подобны снам наяву. Они рождают чудовищ. В отличие от физического эксперимента, который является опытной проверкой гипотез, "мысленный эксперимент" фокуснически подменяет экспериментальную проверку желаемыми, не проверенными на практике выводами, манипулируя логикообразными построениями, реально нарушающими саму логику путем использования недоказанных посылок в качестве доказанных, то есть путем подмены. Таким образом, основной задачей заявителей "мысленных экспериментов" является обман слушателя или читателя путем замены настоящего физического эксперимента его "куклой" - фиктивными рассуждениями под честное слово без самой физической проверки.
Заполнение физики воображаемыми, "мысленными экспериментами" привело к возникновению абсурдной сюрреалистической, спутанно-запутанной картины мира. Настоящий исследователь должен отличать такие "фантики" от настоящих ценностей.

Релятивисты и позитивисты утверждают, что "мысленный эксперимент" весьма полезный интрумент для проверки теорий (также возникающих в нашем уме) на непротиворечивость. В этом они обманывают людей, так как любая проверка может осуществляться только независимым от объекта проверки источником. Сам заявитель гипотезы не может быть проверкой своего же заявления, так как причина самого этого заявления есть отсутствие видимых для заявителя противоречий в заявлении.

Это мы видим на примере СТО и ОТО, превратившихся в своеобразный вид религии, управляющей наукой и общественным мнением. Никакое количество фактов, противоречащих им, не может преодолеть формулу Эйнштейна: "Если факт не соответствует теории - измените факт" (В другом варианте " - Факт не соответствует теории? - Тем хуже для факта").

Максимально, на что может претендовать "мысленный эксперимент" - это только на внутреннюю непротиворечивость гипотезы в рамках собственной, часто отнюдь не истинной логики заявителя. Соответсвие практике это не проверяет. Настоящая проверка может состояться только в действительном физическом эксперименте.

Эксперимент на то и эксперимент, что он есть не изощрение мысли, а проверка мысли. Непротиворечивая внутри себя мысль не может сама себя проверить. Это доказано Куртом Гёделем.

Понятие "мысленный эксперимент" придумано специально спекулянтами - релятивистами для шулерской подмены реальной проверки мысли на практике (эксперимента) своим "честным словом". Подробнее читайте в FAQ по эфирной физике.

Bourabai Research Institution home page

Боровское исследовательское учреждение - Bourabai Research Bourabai Research Institution