Лекция: Синтаксическая мера информации.

Синтаксическая мера информации это объем. Объем данных в сообщении измеряется количеством символов (разрядов) принятого алфавита в этом сообщении. Определение количества информации на синтаксическом уровне невозможно без рассмотрения понятия неопределенности состояния (энтропии) системы. Действительно, получение информации связано с изменением степени неосведомленности получателя о состоянии системы.

Энтропия системы Н(а) может рассматриваться как мера недостающей информации. Энтропия системыН(а), имеющей N возможных состояний, согласно формуле Шеннона равна

H(a)=−∑Ni=1Pilog(Pi) Формула Шеннона

где Pi — это вероятность нахождения системы в i-ом состоянии.

Рассмотрим ситуацию, когда все состояния равновероятны. Поскольку число возможных состояний равно N, то вероятность наступления события Pr=1/N и формула Шеннона может быть переписана в виде

H(a)=−∑Ni=1Pilog(Pi)=−∑Ni=11Nlog(1N)=−log(1N)=log(N)

Получившаяся формула — формула Хартли.

Причем основание логарифма зависит от того, что является единицей измерения информации. Если единицей информации будет бит, принимающий всего 2 возможных состояния 0 или 1, то в приведенных формулах необходимо брать логарифм по основанию 2.

Пример 1.
По каналу связи передается n-разрядное сообщение, использующее m различных символов так, что количество всевозможных кодовых комбинаций будет N=mn. При равновероятном появлении любой кодовой комбинации количество информации в правильном сообщении вычисляется по формуле Хартли:
I=log(N)=log(mn)=n·log(m)

Семантическая мера информации.

Синтаксические меры количества информации в общем случае не могут быть непосредственно использованы для измерения смыслового содержания, ибо имеют дело с обезличенной информацией, не выражающей смыслового отношения к объекту. Для измерения смыслового содержания информации, то есть ее количества на семантическом уровне, наибольшее признание получилатезаурусная мера информации (предложенная Ю. И. Шнейдером), которая связывает семантические свойства информации со способностью пользователя воспринимать поступившее сообщение. Используется понятие тезаурус пользователя.

Тезаурусможно трактовать как совокупность сведений, которыми располагает данная система, пользователь.

В зависимости от соотношений между смысловым содержанием информации — S′ и тезаурусом пользователя — Sn изменяется количество семантической информации Ic, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус:

Если Sn≈0, то пользователь не воспринимает поступающую информацию;

Если Sn→∞, то пользователь все знает, и поступающая информация ему не нужна. В обоих случаях Ic≈0 .

Для получения максимального значения Ic необходимо согласовать S’ с тезаурусом Sn. В этом случае поступающая информация будет понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения.

Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной, поскольку одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным (семантическим шумом) для пользователя некомпетентного.