Лекция: Избыточность сообщения

Как отмечалось, энтропия максимальна, если вероятности сообщений или символов, из которых они составлены, одинаковы. Такие сообщения несут максимально возможную информацию. Если же сообщение имеет меньшую энтропию, количество находящейся в нем информации падает, а поскольку размер сообщения может оставаться прежним, говорят о его избыточности. Различают 2 вида избыточности – абсолютную и относительную. Абсолютная избыточность Dabs находится в виде разности между максимально возможной Hmax и действительной энтропией H сообщения:

Dabs = Hmax — H .

Относительная избыточность D находится как отношение абсолютной избыточности Dabs к максимальной энтропии Hmax.

Избыточность иногда вредна, а иногда полезна. Ее вредность заключается в том, что она обуславливает увеличение объема передаваемых сообщений, что излишне загружает каналы связи, увеличивает необходимый для их хранения размер запоминающих устройств. С другой стороны, избыточность, если ею правильно распорядиться, может быть использована для увеличения надежности передачи и хранения информации.

Аддитивная мера (мера Хартли)

Аддитивную меру можно рассматривать как более удобную для ряда применений комбинаторную меру. Наши интуитивные представления об информации предполагают, чтобы количество информации увеличивалось приблизительно объему сообщения и объему используемого при этом алфавита. Ни геометрическая, ни комбинаторная меры этим свойством не обладают. Геометрическая мера вообще не учитывает свойства алфавита, объем же информации в случае комбинаторной меры растет не прямо пропорционально размеру сообщения, а по закону геометрической прогрессии. Например, если сообщение представлено не одной, а двумя перфокартами — число возможных комбинаций возрастет в 2800 раз и станет равным 21600. В 1929 году Хартли была предложена аддитивная мера. Словом аддитивность (суммируемость) здесь подчеркивается важное свойство этой меры, заключающееся в том, что измеренное при ее помощи количество информации в совокупности нескольких сообщений равно сумме количеств информации в каждом из сообщений в отдельности.

Количество информации по Хартли измеряется в битах (binary digit) и вычисляется как двоичный логарифм от числа состояний в котором может находиться сообщение или его источник.

Вернемся к нашему примеру с перфокартой. Каждая позиция на поверхности перфокарты может находиться в двух состояниях — с отверстием и без него. Таких позиций 800. Следовательно перфокарта может находиться в 2800 состояниях. Количество информации по Хартли в этом случае равно Ih =log22800=800 бит.

Две перфокарты будут иметь в совокупности 21600 состояний, что соответствует 1600 битам информации, т.е. количество информации по Хартли в двух перфокартах 2 два раза больше, чем в одной. Это соответствует принципу аддитивности (сложения).

Пример оценки количества информации при помощи статистической меры ШеннонаРассмотрим оцифрованное телевизионное изображение с параметрами:

количество строк в кадре Nстр=400;

количество столбцов в кадре Nстолб=600;

число градаций яркости Ярк = 27=128;

число градаций цвета Цвет =214=16384;

количество кадров за 1 сек Кадр = 25.

При таких параметрах количество информации по Хартли Ih равно:

Ih = Nстр* Nстолб * Кадр * log2(Ярк*Цвет) = 126 000 000 бит/сек.

Таким образом, за 1 сек. через телеэкран может быть передано максимум 126 миллионов бит. Но на самом деле передается намного меньше. Оценка количества информации с использованием меры Хартли соответствует оценке мерой Шеннона только в случае равных вероятностей передачи в каждой точке изображения значения любой яркости и любого цвета. Причем яркость и цвет каждой точки должны быть статистически независимыми друг от друга. Внешне это выглядит как экран с зернистым изображением. Такое изображение мы видим, когда телеприемник настроен на канал, по которому не ведется вещание, например поздней ночью или ранним утром.

Известно, что через зрение человек не может воспринимать более 50-100 бит/сек. Следовательно, реальное изображение несет в себе намного меньше информации. Действительно, точки реального изображения сильно связаны между собой и составленное из них изображение совсем не похоже на случайную смесь разноцветных и разноярких точек. Следовательно, телесигнал обладает очень большой избыточностью.

Рассматривая различные методы сжатия, следует иметь в виду, что наивысшую эффективность они демонстрируют для данных разных типов и разных объемов.