Лекция: Пример 7.

Рассмотрим систему, которая содержит 128 клавиш – символов букв, цифр, математических и служебных знаков. Максимальное количество информации, которую создает эта система, во время нажатия одной клавиши, равняется максимальной энтропии при равномерной частоте нажатия любой клавиши.

.

Допустим, что поступило сообщение: «нажата клавиша управления курсором». Таких клавиш всего 4 и вероятность нажатия каждой из этих клавиш одинакова. После сообщения энтропия системы Тогда, согласно формулы Шеннона (1.8)