Реферат: Энтропия

--PAGE_BREAK-- В случае использования неравномерного кодирования или сигналов разной длительности (ситуации (2), (3) и (4)) для отделения кода одного знака от другого между ними необходимо передавать специальный сигнал – временной разделитель (признак конца знака) или применять такие коды, которые оказываются уникальными, т.е. несовпадающими с частями других кодов. При равномерном кодировании одинаковыми по длительности сигналами (ситуация (1)) передачи специального разделителя не требуется, поскольку отделение одного кода от другого производится по общей длительности, которая для всех кодов оказывается одинаковой (или одинаковому числу бит при хранении).
Длительность двоичного элементарного импульса (<imagedata src=«46946.files/image009.png» o:><img border=«0» width=«20» height=«20» src=«dopb226033.zip» v:shapes="_x0000_i1031">) показывает, сколько времени требуется для передачи 1 бит информации. Очевидно, для передачи информации, в среднем приходящейся на знак первичного алфавита, необходимо время <imagedata src=«46946.files/image011.png» o:><img border=«0» width=«115» height=«40» src=«dopb226034.zip» v:shapes="_x0000_i1032">. Таким образом, задачу оптимизации кодирования можно сформулировать в иных терминах: построить такую систему кодирования, чтобы суммарная длительность кодов при передаче (или суммарное число кодов при хранении) данного сообщения была бы наименьшей.

§4. Пример использования энтропии в прогнозировании и ее значение для прогнозирования. Применение к рискам
Прогнозирование — частный вид моделирования как основы по­знания и управления.
Роль прогнозирования в управлении страной, отраслью, регио­ном, предприятием очевидна. Необходимы учет СТЗП-факторов (социальных, технологических, экономических, политических), факторов конкурентного окружения и научно-технического про­гресса, а также прогнозирование расходов и доходов предприятий и общества в целом (в соответствии с жизненным циклом продукции — во времени и по 11-ти стадиям международного стандарта ИСО 9004). Проблемы внедрения и практического использования мате­матических методов эконометрического прогнозирования связаны прежде всего с отсутствием в нашей стране достаточно обширного опыта подобных исследований, поскольку в течение десятилетий планированию отдавался приоритет перед прогнозированием.
В конкретных задачах прогнозирования необходимо провести классификацию рисков, поставить задачу оценивания конкретного риска, провести структуризацию риска. Риски необходимо учи­тывать при прогнозировании экономических последствий прини­маемых решений, поведения потребителей и конкурентного окружения, внешнеэкономических условий и макроэкономического развития России, экологического состояния окружающей среды, безопасности технологий, экологической опасности промышленных и иных объектов.
Большое число рисков связано с природными явлениями. Их можно объединить под именем «экологические». К ним относятся, в частности риски, связанные с неопределенностью ряда природных явлений. Типичным примером является погода, от которой зависят урожайность (а потому и цены на сельскохозяйственные товары), расходы на отопление и уборку улиц, доходы от туризма и др. Особое значение имеют риски, связанные с недостаточными знаниями о природе (например, неизвестен точный объем полезных иско­паемых в том или ином месторождении, а потому нельзя точ­но предсказать развитие добывающей промышленности и объем на­логовых поступлений от ее предприятий). Нельзя забывать о рисках экологических бедствий; и катастроф типа ураганов, смерчей, земле­трясений, цунами, селей и др.
В настоящее время при компьютерном и математическом модели­ровании для описания неопределенностей все чаще  используют такой метод, как энтропия.  Некоторые виды неопределенностей связаны с безразличными к организации силами — природными (погодные условия) или обще­ственными (смена правительства).
Разнооб­разные формальные методы оценки рисков и управления ими во многих случаях (реально во всех нетривиальных ситуациях) не мо­гут дать однозначных рекомендаций. В конце процесса принятия решения — всегда человек, менеджер, на котором лежит ответст­венность за принятое решение.
Поэтому процедуры энтропии естественно при­менять не только на конечном, но и на всех остальных этапах анали­за рассматриваемого организацией проекта, используя при этом весь арсенал теории и практики энтропии.
Рассмотрим  использования энтропии  на примере прогноза погоды.
Пусть для некоторого пункта вероят­ность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что дождя не будет, равна 0,6. Пусть далее для этого же пункта вероятность дождя 15 октября равна 0,8, а вероятность отсутствия дождя в этот день — всего 0,2. Предположим, что определенный метод прогноза погоды 15 июня оказывается правильным в 3/5 всех тех слу­чаев, в которых предсказывается дождь, и в 4/5 тех случаев, в которых предсказывается отсутствие осадков; в приме­нении же к погоде 15 октября этот метод оказывается правильным в 9/10 тех случаев, в которых предсказывается дождь, и в половине случаев, в которых предсказывается отсутствие дождя (сравнительно большой процент оши­бок в последнем случае естественно объясняется тем, что предсказывается маловероятное событие, предугадать ко­торое довольно трудно). Спрашивается, в какой из двух указанных дней прогноз дает нам больше информации о ре­альной погоде?
Обозначим через β1 и β2 опыты, состоящие в определе­нии погоды в рассматриваемом пункте 15 июня и 15 октяб­ря. Мы считаем, что эти опыты имеют всего по два исхода — В (дождь) и <shape id="_x0000_i1033" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image013.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226035.zip» v:shapes="_x0000_i1033"> (отсутствие осадков); соответствующие таблицы вероятностей имеют вид:
Опыт β1                                                            
исходы
В
<shape id="_x0000_i1034" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image013.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226035.zip» v:shapes="_x0000_i1034">
вероятн.
0,4
0,6
Опыт β2
исходы
В
<shape id="_x0000_i1035" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image013.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226035.zip» v:shapes="_x0000_i1035">
вероятн.
0,8
0,2
Следовательно, энтропии опытов β1 и β2 равны
Н (β1  ) = -0,4 log 0,4 — 0,6 log 0,6 <shape id="_x0000_i1036" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image015.wmz» o:><img border=«0» width=«20» height=«20» src=«dopb226036.zip» v:shapes="_x0000_i1036"> 0,97 бита,
Н (β2) = — 0,8 log 0,8 — 0,2 log 0,2 <shape id="_x0000_i1037" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image015.wmz» o:><img border=«0» width=«20» height=«16» src=«dopb226037.zip» v:shapes="_x0000_i1037">0,72   бита.
Пусть теперь α1 и α2 — предсказания погоды на 15 июня и на 15 октября. Опыты α1 и α2 также имеют по два исхода: А (предсказание дождя) и  <shape id="_x0000_i1038" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1038"> (предсказание сухой погоды); при этом пары опытов (α1, β1)  и (α2,β2) ха­рактеризуются следующими таблицами условных вероят­ностей:
Пара (α1, β1) 
<shape id="_x0000_i1039" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image020.wmz» o:><img border=«0» width=«65» height=«31» src=«dopb226039.zip» v:shapes="_x0000_i1039">
<shape id="_x0000_i1040" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image022.wmz» o:><img border=«0» width=«65» height=«34» src=«dopb226040.zip» v:shapes="_x0000_i1040">
<shape id="_x0000_i1041" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image024.wmz» o:><img border=«0» width=«64» height=«34» src=«dopb226041.zip» v:shapes="_x0000_i1041">
<shape id="_x0000_i1042" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image026.wmz» o:><img border=«0» width=«63» height=«36» src=«dopb226042.zip» v:shapes="_x0000_i1042">
0,6
0,4
0,2
0,8
Пара (α2,β2)
<shape id="_x0000_i1043" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image028.wmz» o:><img border=«0» width=«69» height=«31» src=«dopb226043.zip» v:shapes="_x0000_i1043">
<shape id="_x0000_i1044" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image030.wmz» o:><img border=«0» width=«69» height=«34» src=«dopb226044.zip» v:shapes="_x0000_i1044">
<shape id="_x0000_i1045" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image032.wmz» o:><img border=«0» width=«68» height=«34» src=«dopb226045.zip» v:shapes="_x0000_i1045">
<shape id="_x0000_i1046" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image034.wmz» o:><img border=«0» width=«66» height=«36» src=«dopb226046.zip» v:shapes="_x0000_i1046">
0,9
0,1
0,5
0,5
 (<shape id="_x0000_i1047" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image036.wmz» o:><img border=«0» width=«264» height=«35» src=«dopb226047.zip» v:shapes="_x0000_i1047">). Эти таблицы позволяют определить также  и неизвестные нам вероятности р1(А) и р1(<shape id="_x0000_i1048" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1048">), р2(А) и р2(<shape id="_x0000_i1049" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1049">) исходов А и  <shape id="_x0000_i1050" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1050"> опытов α1 и α2. По формуле полной ве­роятности  имеем для  опыта β1
0,4=р(В)= р1(А)  <shape id="_x0000_i1051" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image020.wmz» o:><img border=«0» width=«65» height=«31» src=«dopb226039.zip» v:shapes="_x0000_i1051">+ р1(<shape id="_x0000_i1052" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1052">)<shape id="_x0000_i1053" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image024.wmz» o:><img border=«0» width=«64» height=«34» src=«dopb226041.zip» v:shapes="_x0000_i1053">=0,6· р1(А)  +0,2· р1(<shape id="_x0000_i1054" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1054">)
и для опыта β2
0,8 = р (В)= р2(А) <shape id="_x0000_i1055" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image028.wmz» o:><img border=«0» width=«69» height=«31» src=«dopb226043.zip» v:shapes="_x0000_i1055">+ р2(<shape id="_x0000_i1056" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1056">)<shape id="_x0000_i1057" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image032.wmz» o:><img border=«0» width=«68» height=«34» src=«dopb226045.zip» v:shapes="_x0000_i1057">=0,9· р2(А)+0,5· р2(<shape id="_x0000_i1058" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1058">).
Так как р1(<shape id="_x0000_i1059" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1059">)= 1 — р1(А), р2(<shape id="_x0000_i1060" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1060">)= 1 — р2(А), то от­сюда получаем
р1(А)= р1(<shape id="_x0000_i1061" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1061">)= 0,5,  р2(А)  = 0,75,   р2(<shape id="_x0000_i1062" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1062">) = 0,25.
Подсчитаем теперь энтропии  НА(β1), <shape id="_x0000_i1063" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image038.wmz» o:><img border=«0» width=«222» height=«32» src=«dopb226048.zip» v:shapes="_x0000_i1063">(в битах):
НА(β1)= -0,6• log 0,6 — 0,4 • log 0,4 <shape id="_x0000_i1064" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image015.wmz» o:><img border=«0» width=«20» height=«16» src=«dopb226037.zip» v:shapes="_x0000_i1064"> 0,97,
<shape id="_x0000_i1065" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image040.wmz» o:><img border=«0» width=«68» height=«33» src=«dopb226049.zip» v:shapes="_x0000_i1065">= — 0,2• log 0,2 – 0,8•  log0,8 <shape id="_x0000_i1066" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image015.wmz» o:><img border=«0» width=«20» height=«16» src=«dopb226037.zip» v:shapes="_x0000_i1066">0,72
 и
 <shape id="_x0000_i1067" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image042.wmz» o:><img border=«0» width=«70» height=«31» src=«dopb226050.zip» v:shapes="_x0000_i1067">= — 0,9 • log 0,9 — 0,1• log 0,1<shape id="_x0000_i1068" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image015.wmz» o:><img border=«0» width=«20» height=«16» src=«dopb226037.zip» v:shapes="_x0000_i1068"> 0,47,
 <shape id="_x0000_i1069" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image044.wmz» o:><img border=«0» width=«69» height=«33» src=«dopb226051.zip» v:shapes="_x0000_i1069"> = — 0,5 • log 0,5 — 0,5• log 0,5= 1.
Следовательно,
<shape id="_x0000_i1070" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image046.wmz» o:><img border=«0» width=«96» height=«37» src=«dopb226052.zip» v:shapes="_x0000_i1070"> р1(А) НА(β1)+ р1(<shape id="_x0000_i1071" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1071">)<shape id="_x0000_i1072" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image040.wmz» o:><img border=«0» width=«68» height=«33» src=«dopb226049.zip» v:shapes="_x0000_i1072"><shape id="_x0000_i1073" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image015.wmz» o:><img border=«0» width=«20» height=«16» src=«dopb226037.zip» v:shapes="_x0000_i1073">0,84,
<shape id="_x0000_i1074" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image048.wmz» o:><img border=«0» width=«102» height=«37» src=«dopb226053.zip» v:shapes="_x0000_i1074"> р2(А)  <shape id="_x0000_i1075" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image042.wmz» o:><img border=«0» width=«70» height=«31» src=«dopb226050.zip» v:shapes="_x0000_i1075">+ р2(<shape id="_x0000_i1076" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1076">)<shape id="_x0000_i1077" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image044.wmz» o:><img border=«0» width=«69» height=«33» src=«dopb226051.zip» v:shapes="_x0000_i1077"><shape id="_x0000_i1078" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image015.wmz» o:><img border=«0» width=«20» height=«16» src=«dopb226037.zip» v:shapes="_x0000_i1078">0,60.
Таким образом,   информация, содержа­щаяся в прогнозе погоды на 15 июня (опыт α1) о реальной погоде в этот день (об опыте β2), равна
I(α1, β1) = Н(β1)  — <shape id="_x0000_i1079" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image050.wmz» o:><img border=«0» width=«79» height=«37» src=«dopb226054.zip» v:shapes="_x0000_i1079"><shape id="_x0000_i1080" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image015.wmz» o:><img border=«0» width=«20» height=«16» src=«dopb226037.zip» v:shapes="_x0000_i1080">0,97 -0,84 = 0,13 бит,
что несколько больше, чем информация о реальной погоде 15 октября (об опыте β2), содержащаяся в прогнозе погоды на этот день (в опыте α2):
I(α2, β2) = Н(β2)  — <shape id="_x0000_i1081" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image052.wmz» o:><img border=«0» width=«82» height=«37» src=«dopb226055.zip» v:shapes="_x0000_i1081"><shape id="_x0000_i1082" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image015.wmz» o:><img border=«0» width=«20» height=«16» src=«dopb226037.zip» v:shapes="_x0000_i1082">0,72 — 0,60 = 0,12   бит.
Этот результат позволяет считать прогноз погоды па 15 нюня более ценным, чем прогноз на 15 октября, не­смотря на то, что последний прогноз чаще оказы­вается правильным: действительно, в силу формулы полной вероятности, для прогноза погоды на 15 нюня вероятность оказаться правильным равна
р1(А)  <shape id="_x0000_i1083" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image020.wmz» o:><img border=«0» width=«65» height=«31» src=«dopb226039.zip» v:shapes="_x0000_i1083">+ р1(<shape id="_x0000_i1084" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1084">)<shape id="_x0000_i1085" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image024.wmz» o:><img border=«0» width=«64» height=«34» src=«dopb226041.zip» v:shapes="_x0000_i1085">= 0,5• 0,6 + 0,5• 0,8 = 0,7,
в то время как для прогноза погоды на 15 октября эта ве­роятность равна
р2(А) <shape id="_x0000_i1086" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image028.wmz» o:><img border=«0» width=«69» height=«31» src=«dopb226043.zip» v:shapes="_x0000_i1086">+ р2(<shape id="_x0000_i1087" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image018.wmz» o:><img border=«0» width=«16» height=«21» src=«dopb226038.zip» v:shapes="_x0000_i1087">)<shape id="_x0000_i1088" type="#_x0000_t75" o:ole=""><imagedata src=«46946.files/image032.wmz» o:><img border=«0» width=«68» height=«34» src=«dopb226045.zip» v:shapes="_x0000_i1088">= 0,75 • 0,9 + 0,25 • 0,5 = 0,8.

Заключение
Энтропия как физическая переменная первично возникла из задач описания тепловых процессов. Впоследствии она стала широко использоваться во всех областях науки.
Информация — это знание, которое используется для развития, совершенствования системы и её взаимодействий с окружающей средой.
Информация сама развивается вслед за развитием системы. Новые формы, принципы, подсистемы, взаимосвязи и отношения вызывают изменения в информации, ее содержании, формах получения, переработки, передачи и использования. Благодаря потокам информации система осуществляет целесообразное взаимодействие с окружающей средой, т.е. управляет или управляема. Своевременная и оперативная информация может позволить стабилизировать систему, адаптироваться, восстанавливаться при нарушениях структуры и/или подсистем. От степени информированности системы, от взаимодействия системы и среды зависит развитие и устойчивость системы.
В современном мире все большее значение в управлении организацией отдается прогнозированию. Любая организация в процессе своей деятельности сталкивается с различными рисками, которые в большей или меньшей степени влияют на ее состояние. Многочислелны примеры ситуаций, связанных с социаль­ными, технологическими, экономическими, политическими, эколо­гическими и другими рисками. Именно в таких ситуациях обычно и необходимо прогнозирование. Известны различные виды критериев, используемых в теории принятия решений в условиях неопределен­ности (риска). Из-за противоречивости решений, получаемых по различным критериям, очевидна необходимость применения энтропии.

Список используемой литературы
1.                Дмитриев В.Н. Прикладная теория информации. М: Высшая школа,1989.
2.                Колмогоров А.Н. Теория информации и теория алгоритмов.М: Наука,1987.
3.                 Колмогоров А.Н. Три подхода к определению понятия “количество информации” // Проблемы передачи информации. 1965. Т.1. №1.
4.                 Поплавский Р.П. Депон Максвелла и соотношения между информацией и энтропией // УФН. 1979. Т. 128. Вып. 1.
5.                 Хартли Р. Передача информации// Теория информации и ее приложения. М.: Физматгиз. 1959.
6.                 Шамбадаль П. Развитие и приложения понятия энтропии. М.: Наука, 1967 .
7.                 Яглом А.М., Яглом И.М. Вероятность и информация. М.: Наука, 1973.