Реферат: Теория информационных процессов и систем. 20 11 г

Теория информационных процессов и систем. 2011г.

Вопросник для группы МС-71.


Общая схема системы передачи информации. Определения.

Дискретная модель источника информации. Неопределенность по Хартли

Свойство асимптотической равнораспределенности.

Энтропия дискретной случайной величины. Определение, физический смысл и свойства.

Связь между неопределенностью по Хартли и энтропией Шеннона. Единицы измерения информации.

Совместная и условная энтропия 2-х дискретных случайных величин, их свойств.

Количество информации в единичном исходе событий (собственное, взаимное и случайное), его свойства.

Среднее собственное количество информации и его свойства.

Среднее взаимное количество информации и его свойства.

Среднее взаимное количество информации при независимых и неслучайно связанных исходах.

Среднее условное количество информации.

Применение информационных характеристик. Задача об оптимальном резервировании.

Избыточность источника информации.

Общая модель системы связи, математическое задание дискретных источников и каналов связи.

Пропускная способность дискретного канала связи.

Пропускная способность двоичного симметричного канала связи.

Согласование источников информации с каналами связи.

Основная теорема кодирования Шеннона. Экономность кода Шеннона-Фано.

Код Шеннона-Фано (двоичный). Свойства кода Шеннона-Фано.

Код Шеннона-Фано для произвольного алфавита кодирования.

Блочное кодирование и его асимптотические свойства.

Код Хаффмана.

Адаптивные коды Хаффмана

Арифметическое кодирование

Словарно-ориентированные алгоритмы сжатия информации.

Методы Лемпела-Зива.

Сжатие без потерь и с потерей информации

Типы алгоритмов сжатия. Эффективность сжатия.

Защита информации от случайных искажений путем помехоустойчивого кодирования.

Помехоустойчивые коды и помехоустойчивый канал связи.

Энтропия непрерывной случайной величины - полная и дифференциальная.

Дифференциальная совместная и условная энтропии непрерывной случайной величины, ее свойства.

Условные экстремумы дифференциальной энтропии.

Среднее взаимное количество информации для непрерывных случайных величин, ее свойства.

Количество информации в одном измерении непрерывной случайной величины.

Критерии оценки помехоустойчивости.

Теорема Шеннона для дискретных каналов с помехами.

Расстояние Хемминга, вектор ошибки.

Связь расстояния Хемминга с вероятностью ошибочного приема в двоичном симметричном канале.

Критерий наименьшего расстояния при декодировании последовательностей, переданных по двоичному симметричному каналу.

Критерий максимума апостериорной вероятности при декодировании кодовых комбинаций, принятых с ошибками.

Критерий максимума правдоподобия при декодировании кодовых комбинаций, принятых с ошибками.

Теоремы Хемминга для помехоустойчивых равномерных кодов.

Коды, обнаруживающие ошибку: с четным числом единиц, с удвоением, инверсный код.

Построение кодов с заданной исправляющей способностью. Два подхода. Геометрическая модель.

Граничные соотношения между параметрами помехоустойчивых кодов.

Совершенные и квазисовершенные коды.

Код Хемминга исправляющий одиночную ошибку.

Матричное представление кодов.

Матричное представление кода Хемминга.

Циклические коды.

Матричное представление циклических кодов.

CRC коды.

Поля Галуа.

Коды БЧХ.

Коды Рида-Соломона.

Метод перемежения и системы с обратной связью.

Спектр детерминированного сигнала, практическая ширина спектра.

Спектральная плотность мощности случайного сигнала.

Идеальный белый шум. Реальный белый гауссовский шум.

Квантование сигнала по времени. Теорема Котельникова для детерминированных сигналов.

Теорема Котельникова для случайных сигналов.

Функции отсчетов Котельникова, их свойства.

Точность воспроизведения сигналов по отсчетам.

Критерий Железнова.