Лекция: Формализация результатов изучения систем. Выделение функций систем.

Понятие информации. Информация – новые сведения, позволяющие улучшить процессы, связанные с преобразованием вещества, энергии и самой информации.

Информация не отделима от процесса информирования, поэтому необходимо рассматривать источник информации и потребителей информации. Роль потребителей информации подчеркивается в таком определении. Информация – новые сведения, принятые, понятые и оцененные конечным потребителем как полезные и расширяющие запас знаний конечного потребителя.

Выделяются три фазы существования информации.

1. Ассимилированная информация – представления сообщений в сознании человека, наложенное на систему его понятий и оценок.

2. Документирования информации – сведения, зафиксированные в

знаковой форме на каком-то физическом носителе.

3. Передаваемая информация – сведения, рассматриваемые в момент передачи информации от источника к приемнику.

Подавляющая масса информации собирается, передается и обрабатывается с помощью знаков. Знаки – это сигналы, которые могут передавать информацию при наличии соглашении об их смысловом содержании между источниками и приемниками информации. Набор знаков, для которых существует указанное соглашение называется знаковой системой.

Информация на пути от источника к потребителю проходит через ряд преобразователей – кодирующих и декодирующих устройств, вычислительную машину, обрабатывающую информацию по определенному алгоритму.

Успешное управление осуществимо лишь при наличии достаточных знаний о свойствах управляемого объекта. Источники этих знаний – прежде всего наблюдения и опыт. Пусть происходит исследование какого-либо объекта. Ограниченность знаний заставляет допускать что этот объект может находиться в некотором числе n0 равновероятных состояний. Наблюдения и опыт дают сведения, на основании которых определяем новое число возможных равновероятных состояний объекта, равное n. В действительности в каждый момент времени объект находится в каком-то одном состоянии. Если бы наблюдатель определил, какое это состояние, то в результате опыта он положил бы n=1. Но исход опыта обычно характеризуется некоторой неопределенностью, из-за которой n>1, т.е. наблюдатель может установить лишь то, что объект находится в одном из n состояний. Это связана с воздействием средств испытания на объект, и там, где этим воздействием нельзя пренебречь, необходимо учитывать обусловленную им неопределенность результатов испытаний. В частности, в физических экспериментах это определяется принципом неопределенности Гейзенберга.

Неопределенность результата испытаний означает неупорядоченность нашего представления о их объекте. Если сведения, полученные об объекте исследования содержат какие-либо новые данные, то представления о нем уточняется и n<n0 (7.1).

Если же в этих сведениях нет ничего нового, то n=n0 (7.2).

Если полученные сведения противоречивы и делает наше представления об объекте менее ясным, то n>n0 (7.3).

Когда имеет место соотношение (7.1), значение об объекте исследования увеличиваются.

Рассматривая энергию как меру назначения, следует оценить прирост знаний, получаемый при условии (7.1), разностью энтропий, вычисленных по числам состояний n0 и n, или разностью не энтропий, вычисленных по числам n и n0 энтропия при этом имеет значения:

S0 = k ln n0; → (7.4)

S = k ln n. → (7.4)

Следовательно, прирост знаний определяется положительной величиной: J = S0 – S, S0 > S (7.5)

откуда J = k ln n0 / n, n <= n0 (7.6)

При условии (7.3) прирост знаний определяется отрицательной величиной: D = S0 – S, S0 < S (7.7)

показывающей, что знания уменьшились, отсюда:

D = k ln n0 / n, n <= n0 (7.8)

Величины J и D называют, соответственно, информацией и дезинформацией. Они подчиняются условиям: J >= 0, D <= 0.

По (7.6) при каждом значений n0 наблюдатель получает небольшую информацию, если n = 1 (7.9).

Смысл этого ясен: представление наблюдателя об объекте становится в таком случае вполне определенным.

При изучение информации учитываются закономерности ее создания, преобразования и использование в различных сферах человеческой деятельности.

Управление – важнейшая функция, без которой немыслима целенаправленная деятельность любой социально-экономической, организационно-производственной системы (предприятия, организация, территория).

Систему, реализующую функции управления, называют системой управления. Важнейшими функциями, реализуемыми этой системой является прогнозирование, планирование, учет, анализ, контроль и регулирование. Управление связано с объемом информацией между компонентами системы, а также системы с окружающей средой. В процессе управления получают сведения о состоянии системы в каждый момент времени, о достижении заданной цели с тем, чтобы воздействовать на систему и обеспечить выполнение управленческих решений.

Таким образом любой системе управление экономическим объектом соответствует своя ИС, называемая экономической ИС.

Лекция 7. Понятие и структура информационного процесса. Математические модели сигнала. Частотная форма представления детерминированных сигналов. Классификация методов дискретизации.

Рассмотрим теперь ситуацию, когда в процессе передачи сигнал искажается шумом , т.е. некоторым случайным процессом. Предположим, что в соответствии с обозначениями (рисунок 2.1), что Z — ансамбль сигналов на входе дискретного канала, а Z* — ансамбль сигналов на его выходе. Наличие в канале шума приводит к тому, что по сигналу Z* нельзя однозначно определить сигнал Z. С точки зрения теории информации этот эффект характеризуется наличием потерь информации или ненадежностью канала H(Z/Z*)>0 и описывается соотношением I(Z,Z*)=H(Z)-H(Z/Z*), где I(Z,Z*) — информация переданная по каналу, H(Z)-энтропия или собственная информация ансамбля сигналов на входе канала. Переходя к информационным характеристикам, отнесенным к единице времени последнее выражение можно переписать в виде Iў(Z,Z*)=H ў(Z)-H(Z/Z* ) (2.13), где Iў (Z,Z*)-скорость передачи информации по каналу, Hў (Z)-производительность ансамбля на входе канала, H ў(Z/Z* )-потери информации в единицу времени. При этом пропускная способность канала С хоть и уменьшается по сравнению со случаем канала без шума см.(1.25б), но в общем случае принимает конечное значение (за исключением не принимаемого здесь во внимание экстремального случая обрыва канала). Положим далее, что имеется некоторый дискретный источник с производительностью Hў(U) < C сообщения которого необходимо передать по каналу. Для решения этой задачи по-прежнему воспользуемся системой передачи изображенной на рисунке 2.1. Функции выполняемые кодером и декодером в этом случае будут ясны из дальнейших рассуждений.
Поскольку Hў(U) < C возможна передача информации I(Z,Z*) по каналу со скоростью Iў (Z,Z*)=Hў (U) (2.14), т.к. по определению С- максимально возможная скорость передачи информации по каналу. Приравнивая правые части неравенств (2.13-14), приходим к соотношению Hў (Z)-Hў(Z/Z*)=H ў(U). Из которого следует, что Hў(Z)=H ў(U)+Hў (Z/Z*)> Hў(U). Последнее неравенство означает, что производительность ансамбля сигналов Z (назовем его кодом) на входе канала должна быть выше производительности источника сообщений U, и следовательно Z, кроме информации об U должен содержать дополнительную собственную информацию. При этом если бы удалось ввести дополнительную информацию таким образом, чтобы при прохождении сигнала Z по каналу с шумом вследствие ненадежности канала терялась бы именно она, а не полезная информация о сообщении U, то оказалось бы возможным обеспечить безошибочную передачу сообщений U по каналу с шумом с конечной скоростью H ў(U)< C. Таким образом задачей кодера в данной ситуации является согласование источника с каналом, заключается во внесении в сообщение источника избыточности, обладающей описанной выше свойством. Однако не тривиальным является вопрос, а возможно ли в принципе построение такого кодера? Идея борьбы с мешающим влиянием шума за счет введения избыточности, при кодировании дискретных сообщений, существовала и до появления Теории Информации и трактовалась следующим образом: предполагалось сообщение двоичного источника U1 =0 и U2 =1 передавать по симметричному двоичному каналу (см. п1.6) с вероятностями ошибок Р< 0,5 двумя кодовыми комбинациями, содержащими соответственно n единиц или n нулей.;. Если в месте приема регистрировать 1 или 0 по большинству принятых знаков в комбинации т.е. принимать так называемое мажоритарное декодирование, то ясно, что ошибка произойдет при условии, если в кодовой комбинации не верно будет принято n/2 или более символов. Согласно закону больших чисел вероятность уклонения числа ошибок m в кодовой комбинации длины n от их математического ожидания nЧp (см. задачу 1.11) стремится к 0 при n® ?, т.е.

Поскольку nЧp < 0,5n при n®? вход обеспечит безошибочный прием. Однако передачу одного символа необходимо будет осуществлять бесконечно долго, т.е. скорость передачи информации по каналу будет стремится к 0. Таким образом на основании приведенных ранее рассуждений полагалось, что без ошибочная передача информации в канале с шумом возможна лишь в пределе при нулевой скорости передачи. Поэтому положительные решения сформулированного выше вопроса позволяют существенно изменить представление о потенциальных возможностях систем передачи дискретной информации и имеет принципиальное значение в развитии теории и практики связи. Ответ на данный вопрос содержится в теореме Шеннона для дискретного канала с шумом.

Лекция 8. Модели процесса передачи. Измерение информации. Модель непрерывного и дискретного каналов связи. Пропускная способность дискретного и непрерывного каналов связи. Оценки потерь информации. Понятие избыточности информации.

Задача согласования дискретного источника с дискретным каналом без шума. Эффективное или статистическое кодирование

Предположим, что мы имеем дискретный канал вероятность возникновения ошибки, в котором близка к нулю (в идеале = 0). Такой канал называют идеальным каналом или каналом без шума. Пропускная способность канала определяется. При наличии идеального канала естественно поставить вопрос о возможности передаче по нему без потерь информации от произвольного дискретного источника U характеризуемого производительностью H'(U) со скоростью равной пропускной способности канала. Схема построения такой системы передачи информации должна выглядеть, так как на рисунке 2.1. Необходимость включения устройства кодер, а так же декодера, выполняющего обратные ему операции. Состав этой системы обусловлен следующими обстоятельствами. Как говорилось в пункте 1.6. для того чтобы скорость передачи информации в канале была равна его пропускной способности, на входе канала должен действовать дискретный источник с определенными статистическими свойствами, максимизирующими величину I(Z,Z*). В частности, в интересующем нас здесь случае идеального канала без помех такой источник должен просто обладать максимальной энтропией или нулевой избыточностью, т.е. выдавать независимые равновероятные сообщения. В то же время своей постановки задачи мы пожелали иметь возможность передавать сообщения от произвольного источника с любыми статистическими свойствами, т.е. имеющего ненулевую избыточность. Таким образом функции кодера являются согласованием в статическом смысле сообщений источника со входом канала. Задача этого согласования в конечном итоге сводится к устранению избыточности сообщений. Кодер осуществляет кодирование сообщений, т.е. каждому дискретному сообщению по определенному правилу ставят в соответствие последовательность символов из алфавита объемом М. При этом по отношению к входу каналом выдаваемые кодером символы сами являются дискретными элементами сообщений, статические свойства которых должны отличаться от статических свойств сообщений исходного источника. Возможность построения кодера полностью устраняющего избыточность произвольного исходного источника сообщений и определяет возможность решения поставленной задачи без ошибочной передачи информации со скоростью, равной пропускной способности канала. При полном ее решении оказывается справедливым равенство
Hў(U) = uC ЧH(U) = uK Чlog M = C (2.1),
откуда имеем h = uK / uC = H(U) / log M (2.1а),
где H(U) — энтропия источника передаваемых сообщений, uK и u C — средние количества символов соответственно сообщения и кода передаваемых в единицу времени.
h = uK/ uC — среднее количество символов кода приходящиеся на одно сообщение.
Степень приближения к точному выполнению равенств (2.1) и (2.1а) зависит от степени уменьшения избыточности источника сообщений.
Кодирование позволяющее устранять избыточность источников сообщений называется эффективным или статистическим. Коды, получаемые в результате такого кодирования, называются эффективными или статистическими. Рассмотрим основные идеи, которые могут быть положены в основу эффективного кодирования. Как отмечалось в пункте 1.4. избыточность дискретных источников обуславливается двумя причинами:

1) памятью источника;
2) неравномерностью сообщений.

Универсальным способом уменьшения избыточности обусловленной памятью источника является укрупнение элементарных сообщений. При этом кодирование осуществляется длинными блоками. Вероятностные связи между блоками меньше чем между отдельными элементами сообщений и чем длиннее блоки, тем меньше зависит между ними. Смысл укрупнения поясним на примере буквенного текста: если вероятностные связи между буквами в любом языке относительно сильны, то между словами они значительно меньше, еще меньше между фразами, еще меньше между абзацами. Поэтому, применяя кодирование слов, фраз, абзацев мы можем достаточно полно устранить избыточность обусловленную вероятностными связями. Однако при этом возрастает задержка передачи сообщений, так как сначала нужно дождаться формирования всего длинного блока сообщений и лишь затем его закодировать и передавать. Уменьшение избыточности обусловленной неравномерностью сообщений может быть достигнута применением неравномерных кодов. Основная идея построения таких кодов состоит в том, что наиболее вероятным сообщениям ставятся в соответствие наиболее короткие блоки кодовых символов (кодовые комбинации), а наименее вероятным более длинные. В силу неравномерности таких кодов и случайного характера сообщения U передача без потерь информации с постоянной скоростью следования кодовых символов uK может быть обеспечено лишь при наличии буферного накопителя с большой памятью, и, следовательно, при допустимости больших задержек.

Лекция 9. Назначение и содержание прцедур модуляции и демодуляции. Сравнительные характеристики по помехоустойчивости различных видов модуляции Цифровые методы модуляции.

Модуляция — изменение информативных параметров некоторых первичных физических процессов (сигналов), рассматриваемых как носители информации, в соответствии с передаваемой (включаемой и сигнал) информацией.

Виды модуляции связаны с типом сигнала-носителя. В современной информатике выделяют три его типа: фиксированный уровень, колебания, импульсы.

Демодуляция – восстановление величин, вызвавших изменение параметров носителей при модуляции. Выполняется на принимающей стороне при известных условиях модуляции на передающей стороне.

1. Цифровые методы модуляции

В сфере радиоэлектроники всё большее применение находит цифровая модуляция радиосигналов. Цифровая модуляция применяется во многих областях, в том числе цифровом радио- и телевещании, компьютерных технологиях, связи (модем, радио, оптоволокно). Однако наибольшее применение цифровая модуляция получила в системах беспроводной связи. Современные системы связи используют цифровые методы кодирования и модуляции как наиболее эффективные и надёжные способы передачи информации. Цифровая модуляция применяется повсеместно: в спутниковой связи, в теле-радиовещании, в сотовой телефонии, в системах навигации и пр.

Цифровая модуляция в своей основе несёт передачу дискретного сигнала путём переноса кодированной информации на основную несущую частоту (непрерывное колебание). При этом основная несущая моделируется по тому или иному закону, согласно используемому стандарту передачи данных.

Лекция 10 Информационные характеристики сигнала и канала. Согласование физических характеристик сигнала и канала. Согласавание статистических свойств источника сообщений и канала связи.

Предположим, что мы имеем дискретный канал вероятность возникновения ошибки, в котором близка к нулю (в идеале = 0). Такой канал называют идеальным каналом или каналом без шума. Пропускная способность канала определяется. При наличии идеального канала естественно поставить вопрос о возможности передаче по нему без потерь информации от произвольного дискретного источника U характеризуемого производительностью H'(U) со скоростью равной пропускной способности канала. Схема построения такой системы передачи информации должна выглядеть, так как на рисунке 2.1. Необходимость включения устройства кодер, а так же декодера, выполняющего обратные ему операции. Состав этой системы обусловлен следующими обстоятельствами. Как говорилось в пункте 1.6. для того чтобы скорость передачи информации в канале была равна его пропускной способности, на входе канала должен действовать дискретный источник с определенными статистическими свойствами, максимизирующими величину I(Z,Z*). В частности, в интересующем нас здесь случае идеального канала без помех такой источник должен просто обладать максимальной энтропией или нулевой избыточностью, т.е. выдавать независимые равновероятные сообщения. В то же время своей постановки задачи мы пожелали иметь возможность передавать сообщения от произвольного источника с любыми статистическими свойствами, т.е. имеющего ненулевую избыточность. Таким образом функции кодера являются согласованием в статическом смысле сообщений источника со входом канала. Задача этого согласования в конечном итоге сводится к устранению избыточности сообщений. Кодер осуществляет кодирование сообщений, т.е. каждому дискретному сообщению по определенному правилу ставят в соответствие последовательность символов из алфавита объемом М. При этом по отношению к входу каналом выдаваемые кодером символы сами являются дискретными элементами сообщений, статические свойства которых должны отличаться от статических свойств сообщений исходного источника. Возможность построения кодера полностью устраняющего избыточность произвольного исходного источника сообщений и определяет возможность решения поставленной задачи без ошибочной передачи информации со скоростью, равной пропускной способности канала. При полном ее решении оказывается справедливым равенство
Hў(U) = uC ЧH(U) = uK Чlog M = C (2.1),
откуда имеем h = uK / uC = H(U) / log M (2.1а),
где H(U) — энтропия источника передаваемых сообщений, uK и u C — средние количества символов соответственно сообщения и кода передаваемых в единицу времени.
h = uK/ uC — среднее количество символов кода приходящиеся на одно сообщение.
Степень приближения к точному выполнению равенств (2.1) и (2.1а) зависит от степени уменьшения избыточности источника сообщений.
Кодирование позволяющее устранять избыточность источников сообщений называется эффективным или статистическим. Коды, получаемые в результате такого кодирования, называются эффективными или статистическими. Рассмотрим основные идеи, которые могут быть положены в основу эффективного кодирования. Как отмечалось в пункте 1.4. избыточность дискретных источников обуславливается двумя причинами:

1) памятью источника;
2) неравномерностью сообщений.

Универсальным способом уменьшения избыточности обусловленной памятью источника является укрупнение элементарных сообщений. При этом кодирование осуществляется длинными блоками. Вероятностные связи между блоками меньше чем между отдельными элементами сообщений и чем длиннее блоки, тем меньше зависит между ними. Смысл укрупнения поясним на примере буквенного текста: если вероятностные связи между буквами в любом языке относительно сильны, то между словами они значительно меньше, еще меньше между фразами, еще меньше между абзацами. Поэтому, применяя кодирование слов, фраз, абзацев мы можем достаточно полно устранить избыточность обусловленную вероятностными связями. Однако при этом возрастает задержка передачи сообщений, так как сначала нужно дождаться формирования всего длинного блока сообщений и лишь затем его закодировать и передавать. Уменьшение избыточности обусловленной неравномерностью сообщений может быть достигнута применением неравномерных кодов. Основная идея построения таких кодов состоит в том, что наиболее вероятным сообщениям ставятся в соответствие наиболее короткие блоки кодовых символов (кодовые комбинации), а наименее вероятным более длинные. В силу неравномерности таких кодов и случайного характера сообщения U передача без потерь информации с постоянной скоростью следования кодовых символов uK может быть обеспечено лишь при наличии буферного накопителя с большой памятью, и, следовательно, при допустимости больших задержек.