к оглавлению

Основные свойства энтропии

1. Энтропия является величиной вещественной и неотрицательной, т.к. значения вероятностей pn находятся в интервале 0-1, значения log pn всегда отрицательны, а значения -pn log pn в (1.4.2) соответственно положительны.

2. Энтропия - величина ограниченная, т.к. при pn Ю 0 значение -pnЧ log pn также стремится к нулю, а при 0 < pn Ј 1 ограниченность суммы всех слагаемых очевидна.

3. Энтропия равна 0, если вероятность одного из состояний источника информации равна 1, и тем самым состояние источника полностью определено (вероятности остальных состояний источника равны нулю, т.к. сумма вероятностей должна быть равна 1).

4. Энтропия максимальна при равной вероятности всех состояний источника информации:

Hmax(U) = -(1/N) log(1/N) = log N.

5. Энтропия источника с двумя состояниями u1 и u2 при изменении соотношения их вероятностей p(u1)=p и p(u2)=1-p определяется выражением:

H(U) = -[p log p + (1-p) log(1-p)],

и изменяется от 0 до 1, достигая максимума при равенстве вероятностей. График изменения энтропии приведен на рис. 1.4.1.

6. Энтропия объединенных статистически независимых источников информации равна сумме их энтропий.

Рассмотрим это свойство на двух источниках информации u и v. При объединении источников получаем обобщенный источник информации (u,v), который описывается вероятностями p(unvm) всех возможных комбинаций состояний un источника u и vm источника v. Энтропия объединенного источника при N возможных состояниях источника u и М возможных состояниях источника v:

H(UV) = -p(unvm) log p(unvm),

Источники статистически независимы друг от друга, если выполняется условие:

p(unvm) = p(un)Ч p(vm).

С использованием этого условия соответственно имеем:

H(UV) = -p(un)p(vm) log [p(un)p(vm)] =

= -p(un) log p(un)p(vm) -p(vm) log p(vm)p(um).

С учетом того, что p(un) = 1 иp(vm) = 1, получаем:

H(UV) = H(U) + H(V). (1.4.3)

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, полностью игнорируя содержательную сторону ансамбля. С одной стороны, это расширяет возможности использования энтропии при анализе самых различных явлений, но, с другой стороны, требует определенной дополнительной оценки возникающих ситуаций. Как это следует из рис. 1.4.1, энтропия состояний может быть неоднозначной, и если в каком-либо экономическом начинании действие u с вероятностью pu=p приводит к успеху, а действие v с вероятностью pv=1-p к банкротству, то выбор действий по оценке энтропии может оказаться и прямо противоположным, т.к. энтропия при pv=p равна энтропии при pu=p.

к оглавлению


Знаете ли Вы, что низкочастотные электромагнитные волны частотой менее 100 КГц коренным образом отличаются от более высоких частот падением скорости электромагнитных волн пропорционально корню квадратному их частоты от 300 тысяч кмилометров в секунду при 100 кГц до примерно 7 тыс км/с при 50 Гц.

Bourabai Research Institution home page

Боровское исследовательское учреждение - Bourabai Research Bourabai Research Institution