к оглавлению

Количественная мера информации

Теория любого явления начинается с появления количественных взаимоотношений между объектами исследований, т.е. при установлении принципов измеряемости каких-либо свойств объектов. Единицу количественной меры информации - БИТ (сокращение binary digit - двоичная цифра), впервые предложил Р. Хартли в 1928 году. 1 бит - это информация о двух возможных равновероятных состояниях объекта, неопределенность выбора из двух равновероятных событий. Математически это отображается состоянием 1 или 0 одного разряда двоичной системы счисления. Количество информации Н (в битах), необходимое и достаточное для полного снятия неопределенности состояния объекта, который имеет N равновозможных состояний, измеряется как логарифм по основанию 2 из числа возможных состояний:

H = log 2 N. (1.4.1)

Соответственно, двоичный числовой информационный код одного из N возможных состояний объекта занимает Н двоичных разрядов.

Пример. Необходимо поднять груз на определенный этаж 16 -ти этажного здания (нумерация этажей 0-15, N = 16). Сколько бит информации полностью определяют задание?

H = log2 N = log2 16 = 4.

Следовательно, 4 бита информации необходимы и достаточны для полного снятия неопределенности выбора. В этом можно убедиться применением логики исчисления с последовательным делением пополам интервалов состояний. Например, для 9-го этажа:

1. Выше 7-го этажа? Да = 1. 2. Выше 11-го этажа? Нет = 0.

3. Выше 9-го этажа? Нет = 0. 4. Выше 8-го этажа? Да = 1.

Итог: этаж номер 9 или 1001 в двоичном исчислении, четыре двоичных разряда.

Если в приведенном примере на этажах имеется по 4 квартиры с нумерацией на каждом этаже 0-3 (М=4), то при адресации груза в квартиру потребуется еще 2 бита информации. Такой же результат получим, если вместо независимой нумерации этажей и квартир на этажах (два источника неопределенности) мы будем иметь только сквозную нумерацию квартир (один обобщенный источник):

H = log 2 N + log 2 M = log 2 16 + log 2 4 = 6 є log 2 (N ґ M) = log 2 64 = 6,

т.е. количество информации отвечает требованию аддитивности: неопределенность объединенного источника равна сумме неопределенностей исходных источников, что соответствует интуитивному требованию к информации: она должна быть однозначной, а ее количество должно быть одним и тем же независимо от способа задания.

Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так, если за единицу неопределенности принять три равновероятных состояния, то для определения, например, одной фальшивой золотой монеты (более легкой) из 27 внешне неотличимых монет потребуется только H = log 3 27 = 3, т.е. три взвешивания на равноплечных весах. Логику исчисления взвешиваний предлагается определить самостоятельно.

Двоичная мера информации получила общее признание в связи с простотой реализации информационной техники на элементах с двумя устойчивыми состояниями. В десятичном исчислении единицей информации является один десятичный разряд - ДИТ.

к оглавлению


Знаете ли Вы, как разрешается парадокс Ольберса?
(Фотометрический парадокс, парадокс Ольберса - это один из парадоксов космологии, заключающийся в том, что во Вселенной, равномерно заполненной звёздами, яркость неба (в том числе ночного) должна быть примерно равна яркости солнечного диска. Это должно иметь место потому, что по любому направлению неба луч зрения рано или поздно упрется в поверхность звезды.
Иными словами парадос Ольберса заключается в том, что если Вселенная бесконечна, то черного неба мы не увидим, так как излучение дальних звезд будет суммироваться с излучением ближних, и небо должно иметь среднюю температуру фотосфер звезд. При поглощении света межзвездным веществом, оно будет разогреваться до температуры звездных фотосфер и излучать также ярко, как звезды. Однако в дело вступает явление "усталости света", открытое Эдвином Хабблом, который показал, что чем дальше от нас расположена галактика, тем больше становится красным свет ее излучения, то есть фотоны как бы "устают", отдают свою энергию межзвездной среде. На очень больших расстояниях галактики видны только в радиодиапазоне, так как их свет вовсе потерял энергию идя через бескрайние просторы Вселенной. Подробнее читайте в FAQ по эфирной физике.

Bourabai Research Institution home page

Боровское исследовательское учреждение - Bourabai Research Bourabai Research Institution