к оглавлению

Энтропия непрерывного источника информации

Энтропия непрерывного источника информации должна быть бесконечна, т. к. неопределенность выбора из бесконечно большого числа возможных состояний бесконечно велика. (на самом деле это только некорректная математическая модель, так как реальные сигналы занимают ограниченный спектр частот, а значит, могут быть представлены дискретными значениями через некоторый шаг, определяемый теоремой Котельникова; кроме того реальные сигналы не могут быть измерены с бесконечной точностью, так как имеются шумы линии и ошибка измерения, а это значит, что по шкале динамического диапазона непрерывный сигнал тоже может быть представлен конечным числом различимых квантовых уровней - примечание К.А. Хайдарова)

Разобьем диапазон изменения непрерывной случайной величины U на конечное число n малых интервалов Du. При реализации значений u в интервале (un, un+Du) будем считать, что реализовалось значение un дискретной случайной величины U', вероятность реализации которой:

p(un<u<un+Du) =p(u) du » p(un) Du.

Энтропия дискретной величины U':

H(U') = -p(un) Du log (p(un) Du).

Заменяем log (p(un) Du) = log p(un)+log Du, принимаем во внимание, что сумма p(un)Du по всем возможным значениям un равна 1, и получаем:

H(U') = -p(un) Du log p(un) – log Du. (1.4.4)

В пределе, при Du ® 0, получаем выражение энтропии для непрерывного источника:

H(U) = -p(u) log p(u) du –. (1.4.5)

Значение энтропии в (1.4.5), как и ожидалось, стремится к бесконечности за счет второго члена выражения. Для получения конечной характеристики информационных свойств непрерывных сигналов используют только первый член выражения (1.4.5), получивший название дифференциальной энтропии. Ее можно трактовать, как среднюю неопределенность выбора произвольной случайной величины по сравнению со средней неопределенностью выбора случайной величины U', имеющей равномерное распределение в диапазоне (0-1). Действительно, для такого распределения p(un) = 1/N, Du = 1/N, и при N ® Ґ из (1.4.4) следует:

H(U') = - (log N)/N - log Du ® -.

Соответственно, разность энтропий дает дифференциальную энтропию:

h(U) = H(U) – H(U') = -p(u) log p(u) du. (1.4.6)

Дифференциальная энтропия не зависит от конкретных значений величины U:

h(U+a) = h(U), a = const,

но зависит от масштаба ее представления:

h(kU) = h(U) + log k.

Практика анализа и обработки сигналов обычно имеет дело с сигналами в определенном интервале [a, b] их значений, при этом максимальной дифференциальной энтропией обладает равномерное распределение значений сигналов:

h(U) = -p(u) log p(u) du = log (b-a).

По мере сужения плотности распределения значение h(U) уменьшается, и в пределе при p(u) ® d(u-c), a<c<b стремится к нулю.

к оглавлению


Знаете ли Вы, что cогласно релятивистской мифологии "гравитационное линзирование - это физическое явление, связанное с отклонением лучей света в поле тяжести. Гравитационные линзы обясняют образование кратных изображений одного и того же астрономического объекта (квазаров, галактик), когда на луч зрения от источника к наблюдателю попадает другая галактика или скопление галактик (собственно линза). В некоторых изображениях происходит усиление яркости оригинального источника." (Релятивисты приводят примеры искажения изображений галактик в качестве подтверждения ОТО - воздействия гравитации на свет)
При этом они забывают, что поле действия эффекта ОТО - это малые углы вблизи поверхности звезд, где на самом деле этот эффект не наблюдается (затменные двойные). Разница в шкалах явлений реального искажения изображений галактик и мифического отклонения вблизи звезд - 1011 раз. Приведу аналогию. Можно говорить о воздействии поверхностного натяжения на форму капель, но нельзя серьезно говорить о силе поверхностного натяжения, как о причине океанских приливов.
Эфирная физика находит ответ на наблюдаемое явление искажения изображений галактик. Это результат нагрева эфира вблизи галактик, изменения его плотности и, следовательно, изменения скорости света на галактических расстояниях вследствие преломления света в эфире различной плотности. Подтверждением термической природы искажения изображений галактик является прямая связь этого искажения с радиоизлучением пространства, то есть эфира в этом месте, смещение спектра CMB (космическое микроволновое излучение) в данном направлении в высокочастотную область. Подробнее читайте в FAQ по эфирной физике.

Bourabai Research Institution home page

Боровское исследовательское учреждение - Bourabai Research Bourabai Research Institution