Лекция: Формула Хартли

I=log2N.

Отсюда следует, что 2I=N.

Рассмотрим пример: допустим, нужно угадать число из набора целых чисел от нуля до 63. В соответствии с формулой Хартли количество информации в сообщении о том, какое число угадано равно I=log264=6 бит.

Формула Хартли определяет длину двоичного слова (I), которое требуется для кодирования N равновероятных сообщений (объектов, состояний, событий).

Такой подход для определения количества информации назвали вероятностным. Рассмотрим с этой точки зрения формулу Хартли.

Пусть N – число равновероятных событий. Поскольку вероятности появления событий равны, то можно записать р=, следовательно N=. Исходя из этого, запишем формулу Хартли в следующем виде:

I=log2N=log2(1/p)=-log2p.

Следует учесть, что не все события могут быть равновероятны. Для такого рода задач американский ученый Клод Шеннон в 1948г. предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.