Лекция: Связь между вероятностью события и количеством информации

Под информацией будем понимать сообщение о событиях внутри некоторой системы или в окружающей среде. Отметим, что к информации относятся лишь новые сведения, определяющие приращение знаний. При таком подходе ясно, что чем меньше вероятность события, тем большее количество информации содержится в сообщении о том, что это событие произошло. Если из колоды игральных карт извлечь бубновый туз, то в сообщении об этом случайном событии содержится больше информации, чем в известии о выпадении герба при случайном бросании монеты. В первом случае неопределенность ситуации выше — вероятность извлечь конкретную карту составляет 1/36, а во втором — вероятность выпадения герба равна 1/2.

Обозначим через A i некоторое событие, P ( A i ) — вероятность данного события. Тогда количество информации I ( A i ), заключенное в сообщении о реализации события определяется:

Единица измерения количества информациибудет зависеть от выбора значения основания логарифма. В теории информации принимают а = 2. Если получено сообщение о реализации одного конкретного результата из двух возможных, то количество информации, заключенное в этом сообщении равно:

бит.

Таким образом, за единицу количества информации принимают один бит — количество информации, получаемое при осуществлении одного из двух равновероятных событий. Более крупные единицы: 1 байт = 8 бит, 1 килобайт = 210 байт = 1024 байта, 1 мегабайт = 220 байта = 1048576 байта.

6. Принципы вероятных подходов к задачам диагностики