Лекция: Содержательный подход к измерению информации

ИНФОРМАТИКА

Методические рекомендации к лабораторным работам по информатике для студентов специальности «Информационные системы и технологии»

(часть I)

Нижний Новгород

ББК – 32.973 – 018.2

К – 84

Круподерова Е.П. Информатика: Методические рекомендации к лабораторным работам по информатике для студентов специальности «Информационные системы и технологии» (часть I)– Н. Новгород: Изд-во ВГИПУ, 2009. – 110 с.

Методические рекомендации предназначены для студентов специальности 230201.65 «Информационные системы и технологии». Изложены цели лабораторных работ, краткие теоретические сведения, задания к лабораторным работам. Методические рекомендации могут быть использованы студентами других специальностей в курсе информатики.

© Круподерова Е.П., 2009

© ВГИПУ, 2009

Лабораторная работа «Представление и измерение информации в

компьютере»

Цель работы:

1. Познакомиться с содержательным и алфавитным

подходом к измерению информации

2. Освоить способы кодирования числовой, текстовой,

графической и звуковой информации

3. Научиться определять количество информации в файлах различных

типов

Краткие сведении из теории

Содержательный подход к измерению информации

Попытки количественного измерения информации предпринимались неоднократно, но наиболее глубоко эти вопросы были разработаны и обобщены одним из авторов теории информации, американским инженером К. Шенноном в 1948 г.

В теории информации количеством информации называют числовую характеристику сигнала, не зависящую от его формы и содержания и характеризующую неопределенность, которая исчезает после получения сообщения в виде данного сигнала. В этом случае количество информации зависит от вероятности получения сообщения о том или ином событии.

Предположим, что ожидается поступление некоторого сообщения. До прихода сообщения существует некоторая неопределенность относительно того, что будет содержать это сообщение. Приход сообщения уничтожает эту неопределенность. Чем больше неопределенность, ликвидируемая поступающим сообщением, тем большее количество информации оно содержит.

Р. Хартли предложил информацию (I), приходящуюся на одно сообщение, определять логарифмом общего числа возможных сообщений (N).

I(N) = logN

Если множество возможных сообщений состоит из одного (N =1 ), то

I(1) = log 1 = 0,

что соответствует отсутствию информации в этом случае.

В простейшем случае неопределенности выбор делается между двумя взаимоисключающими равновероятными сообщениями. Неопределенность, ликвидируемая приходом такого сообщения, принимается за единицу информации – 1 бит. Поэтому, если в приведенных выше формулах использовать логарифм по основанию два, то количество информации окажется выраженным и битах (например, при двух равновероятных сообщениях):

I(2) = log2 2 = 1 бит

Задача 1:

Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет?

Решение:

Поскольку события равновероятны воспользуемся формулой I = log2N.

I = log28 = 3.

Задача 2:

При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика?

Решение:

Выпадение каждой грани кубика равновероятно. Поэтому I = Iog26.

I = 2,585 бит.

Вышеприведенная формула Р. Хартли позволяет определить количество информации в сообщении только для случая, когда сообщения равновероятны и статистически независимы.

К. Шеннон предложил в качестве меры неопределенности источника сообщений, осуществляющего выбор из N состояний, каждое из которых реализуется с вероятностью рi(i = 1,2,..., N), использовать функцию:

I = — ∑pi log2 pi

Если все сообщения равновероятны, то pi = 1/N и I = log2N= Н max. Если вероятность одного из сообщений равна 1, а всех остальных — 0, то количество информации в этом случае равно 0. Для всех остальных случаев справедливо неравенство:

0< I<log2N

Задача 3.

В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.

Решение:

Так как количество шариков различных цветов неодинаково, то зрительное сообщение о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков: рб = 0,1; рк = 0,2; р3 = 0,3; рс = 0,4.

События не равновероятны, поэтому для определения количества информации, содержащейся в сообщении о цвете шарика, воспользуемся формулой: I = — ∑pi log2 pi

I = — (0,1* log 2 0,l +0,2 * log2 0,2 +0,3 * log2 0,3 +0,4* log20,4) бит =

— (0,1 * (-1) + 0,2 * (-0,7) + 0,3 * (-0,5) + 0,4 * ( — 0,4)) = 0,55 бит.