Лекция: Вероятностный подход к определению количества информации. Понятие энтропии.

Если обратить внимание на разговорные языки, например русский, то можно сделать интересные выводы. Для упрощения теоретических исследований в информатике принято считать, что русский алфавит состоит из 32 символов (е и ё, а также ь и ъ между собой не различаются, но добавляется знак пробела между словами). Если считать, что каждая буква русского языка в сообщении появляется одинаково часто (т.е. равновероятно) и после каждой буквы может стоять любой другой символ, то, используя двоичную логарифмическую меру измерения информации Хартли, можно определить количество информации в каждом символе русского языка как:

I= log2 32=5.

Однако, фактически все бывает не так. Во всех разговорных языках одни буквы встречаются чаще, другие — гораздо реже. Исследования говорят, что на 1000 букв приходится следующее число повторений:

Кроме того, вероятность появления отдельных букв зависит от того, какие буквы им предшествуют. Так, в русском языке после гласной не может следовать мягкий знак, не могут стоять четыре гласные подряд и так далее. Любой разговорный язык имеет свои особенности и закономерности. По этим причинам количество информации в сообщениях, построенных из символов любого разговорного языка, нельзя оценивать двоичной логарифмической мерой Хартли.

Какое количество информации тогда содержится, к примеру, в тексте романа «Война и мир», во фресках Рафаэля или в генетическом коде человека? Ответа на эти вопросы наука не даёт и, по всей вероятности, даст не скоро. А возможно ли объективно измерить количество информации? К задачам подобного рода относятся также следующая:

Пример: Являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно помещении идет речь. Если это, например, вестибюль станции метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода используется общая оценка количества информации Шеннона. Американский учёный Клод Шеннон в 1948 г. предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Он использовал применяемую в математике и гидродинамике вероятностную меру неопределенности (энтропию) для того, чтобы в полной мере оценить состояние изучаемой системы и получить максимально возможную информацию о протекающих в этой системе процессах. Эта оценка количества информации, по-существу, является вероятностной мерой, и, как оценка неопределенности, она

Вывод: отражает способность какого-либо ис-точника проявлять все новые и новые состояния и таким образом отдавать информацию.

Шеннон энтропию определил как среднюю логарифмическую функцию множества вероятностей возможных состояний системы (возможных исходов опыта)[5]). Для расчета энтропии HШеннон предложил следующее уравнение:

H= –( p1log2 p1+p2 log2 p2+.. .+pN log2 pN),

где p i — вероятность появления i-е события в наборе из N событий.

Тогда количество информации, полученное исследователем после опыта будет не что иное, как разность между энтропией системы до H0и после H1опыта, или

I= H0–H1,

причем если неопределенность в результате опыта снимается полностью имеем:

I= – H1или I= Σ (pi log2 pi), i= 1,…,N .

Если события равновероятны, то количество информации определяется по формуле Хартли:

i =log2 N.

Пример: После экзамена по информатике, который сдавали студенты, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегося A, который выучил лишь половину билетов, и сообщение об оценке учащегося B, который выучил все билеты..

Опыт показывает, что для учащегося A все четыре оценки (события) равновероятны, а для для учащегося B наиболее вероятной оценкой является «5» (p1 = 1/2), вероятность оценки «4» в два раза меньше (p2 = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p3 = p4 = 1/8).

Тогда, количество информации, которое несет сообщение об оценке учащегося А, равно (на основании формулы Хартли)

i =log2 4= 2,

а количество информации, содержащее в сообщении об оценке ученика В, есть

I=–(1/2 log21/2+1/4 log21/4+1/8 log21/8+1/8 log21/8)=1,75.

Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.