Лекция: Что такое объем данных и как он измеряется (Инф.)

Для измерения информации вводятся два параметра: количество информации I и объем данных Vд. Объем данных Vд. в сообщение измеряется количеством символов (разрядов) в этом сообщение. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

— в двоичной системе счисления единица измерения — бит (bit-binary digit-двоичный разряд);

— в десятичной системе счисления единица измерения – дит (десятичный разряд).

Пример. Сообщение в двоичной системе 10111011 имеет объем данных Vg=8 бит; сообщение в десятичной системе 275903 имеет объем данных 6 дит.

Количество информации I невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Количество информации в сообщении определяется тем, насколько уменьшится мера неопределенности после получения сообщения:

Ib(a) = H(b)-H(a), где H(a) энтропия, может рассматриваться как мера недостающей информации.

Количество информации H(x) при наблюдении случайной величины x€X={x1,x2,…xn}с распределением вероятностей p={p1,p2,…,pn} задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.