Лекция: Билет 2

1. Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации.

Ответ:

Измерение информации: содержательный и алфавитный подходы

Вопрос «как измерить информацию?» очень непростой. Понятие «информация» является контекстным, а значит и способы её измерения могут быть различны. Если рассматривать информацию как знания, то сообщение несёт информацию только в том случае, когда пополняет знания. Такой подход позволяет рассматривать информацию как меру уменьшения неопределенности знаний. В этом случае, количество информации в одном и том же сообщении для разных получателей может быть различно, так как для одного из них информация может быть новой, а для другого — уже известной. Таким образом, количество информации в сообщении будет зависеть от степени неопределенности знаний получателя. Такой подход к измерению количества информации называется содержательным.

Существует и другой подход – алфавитный. Он позволяет определять количество информации в сообщении независимо от человеческого восприятия. В этом случае не рассматриваются социально значимые свойства информации, содержащейся в сообщении, а только общее количество символов и мощность алфавита с помощью которого оно записано. Такой подход тесно связан с теорией вероятностей.

С увеличением количества событий в два раза увеличивается на 1 бит длина кода:

Количество событий (N) Длина кода (i)

N = 2 i = 1

N = 4 i = 2

N = 8 i = 3

Величины N и i связаны формулой 2 i = N, если N выбирать из ряда 2,4,8,16,32,64……… Для других значений N формула выглядит так: 2 i≥ N. По ней мы можем рассчитать длину двоичного кода для любого количества событий. Неравенство можно решить подбором наименьшего значения i из ряда натуральных чисел. ( Двойка в формуле показывает, что используется двоичное кодирование. Если бы использовалось, например, троичное кодирование, нужно было бы писать три и т.д.)

Для записи текстовой (знаковой) информации всегда используется какой-либо язык (естественный или формальный). Всё множество используемых в языке символов называется алфавитом. Полное число символов алфавита называют его мощностью. При записи текста в каждой очередной позиции может появиться любой из N символов алфавита, т.е. может произойти N событий. Следовательно, каждый символ алфавита содержит i бит информации, где i определяется из неравенства: 2 i≥ N. Тогда общее количество информации в тексте определяется формулой:

V = k * i, где V – количество информации в тексте; k – число знаков в тексте (включая знаки препинания и даже пробелы), i — количество бит, выделенных на кодирование одного знака.

Единицы измерения информации

При работе с компьютером долгое время использовался алфавит мощностью 256 символов. Для кодирования одного символа такого алфавита потребуется 8 бит (2 8 = 256). Этой величине присвоили своё название – байт. Бит и байт – «мелкие» единицы измерения количества информации. Для измерения больших объемов используют производные от байта единицы. При этом знакомая приставка кило- обозначает не точно 103, а 210, т.е. 1024. То же правило действует и на другие приставки (мега-, гига- и т.д.).

Единица измерения Обозначение Связь с др. единицами измерения а информации

1 бит бит Минимальное количество информации

1 Байт байт 8 бит

1 Килобайт Кб 210 байт = 1024 Байт

1 Мегабайт Мб 210 Килобайт = 1024 КБ

1 Гигабайт Гб 210 Мегабайт = 1024 МБ