|
 Индийская литература
очень богата, разноязыка и насчитывает не менее трех
с половиной тысячелетий. Многое потерялось во мгле
времен навсегда, но начало ее, несомненно - Ригведа.
Начало это оказалось не неуверенным и робким, а блистательным.
РВ никак не напоминает слабый ручеек, из которого
со временем возникла великая река. Скорее ее можно
сравнить с огромным величественным озером, которое
поражает сильнее, чем то, что из него возникло, и
при этом всегда остается истоком. Конечно, должно
существовать нечто и до начала, но мы об этом ничего
не знаем и можем о нем только гадать.
...По глубокому убеждению переводчика, при переводе
с ведийского на другие языки русский язык обладает
рядом несомненных преимуществ перед западноевропейскими
языками. Это преимущества определяются как большей
степенью соответствия между ведийским и русским в
силу лучшей сохранности в нем архаизмов, чем в западных
языках, так и большей близостью русской (славянской)
мифо-поэтической традиции к индо-иранской
Т.Я. Елизаренкова. Ригведа - великое начало индийской
литературы и культуры
Основой для РВ является та система воззрений, которая
получила название мифопоэтической модели мира. Суть
ее сводится к тому, что природа в ней представлена
не как результат переработки первичных данных органами
чувств, а как результат их вторичной перекодировки
с помощью знаковых систем. Это бывают разные семиотические
системы, так или иначе связанные между собой и образующие
единую универсальную систему
Т.Я. Елизаренкова. Мир идей ариев Ригведы
Но вот что поразительно: если мы обратимся к системе
философских представлений древней Индии, особенно
к раннему буддизму - великой попытке сделать религию
из философии, с отсутствием всякой богословской тенденциии
отвращением к метафизическому мировоззрению, попытке,
смелость которой нам трудно в должной мере оценить,
- то здесь вся система взглядов необычайно похожа
на то, что мы видим сейчас в кибернетике. Неповторяем
ли мы тот же цикл мышления, но только теперь уже на
базе современных научных представлений, используя
все то, что бы ло накоплено наукой за два-три века
детерминистического пути ее развития?..Древнеиндийская
философия, может быть, впервые в истории человеческой
мысли нашла путь, позволяющий оставаться свободным,
будучи элементом системы и активно действуя в ней
Этюды по истории Кибернетики (предтечи кибернетики
в древней Индии)
В.В. Налимов, З.Б. Баринова (1973г.)
Всеобщая борьба за существование, охватывающая
весь органический мир,
не есть борьба за вещество.
Химические элементы органического вещества
находятся в избытке в воздухе, воде и земле.
Это также не борьба за энергию -
она в форме теплоты щедро рассеяна во всех телах.
Это борьба за энтропию,
становящуюся доступной при переходе от пылающего солнца
к холодной земле
Л. Больцман (1886)
 Два пути возникновения упорядоченности
Упорядоченность, наблюдаемая в развертывании жизненных
процессов, проистекает из различных источников. Оказывается,
существуют два различных механизма, которые
могут производить упорядоченные явления: статистический
механизм, создающий порядок из беспорядка, новый механизм,
производящий порядок из порядка. Для непредвзятого
ума второй принцип кажется более простым, более вероятным.
Без сомнения, так оно и есть. Именно поэтому физики
были горды установлением первого принципа (порядок
из беспорядка), которому фактически следует Природа
и который один дает обьяснение огромному множеству
природных явлений и, в первую очередь, их необратимости.
Но мы не можем ожидать, чтобы законы физики, основанные
на этом принципе, оказались достаточными для обьяснения
материи, наиболее удивительные особенности которой,
видимо, в значительной степени основаны на принципе
порядок из порядка. Вы ведь не станете ожидать,
что два совершенно различных механизма могут обусловить
один и тот же закон, как и не будете ожидать, что
ваш ключ от двери обязательно подойдет к двери вашего
соседа. Нас не должны поэтому обескураживать трудности
обьяснения жизни с привлечением обыкновенных законов
физики. Ибо это именно то, чего следует ожидать, исходя
из наших знаний относительно структуры живой материи.
Мы вправе предполагать, что живая материя подчиняется
новому типу физического закона. Или мы должны назвать
его нефизическим, чтобы не сказать: сверхфизическим
законом?
Эрвин Шредингер. Что такое жизнь? Физический аспект
живой клетки
http://kirsoft.com.ru/freedom/KSNews_367.htm
http://kirsoft.com.ru/freedom/KSNews_133.htm
Если бы, скажем, лет через триста мне удалось воскреснуть
и я увидел бы, что математики, естествоиспытатели
и философы все еще спорят по этому поводу, меня бы
это ни сколько не удивило. Не удивился бы я и тому,
что появилось множества весьма туманных суждений
<...>
P.S. На днях, приводя в порядок книги, я наткнулся
на размышления Марка Аврелия и случайно открыл ту
страницу, где он пишет о двух возможностях: либо мир
является огромных хаосом, либо в нем царствует порядок
и закономерность; какая из двух взаимоисключающих
возможностей реализуется, мыслящий человек должен
решить сам - он, как скала в море, о которую разбиваются
яростные волны, должен оставаться там, куда его забросила
судьба или случай. И хотя я уже много раз читал эти
строки, но теперь впервые задумался над тем, а почему,
собственно Марк Аврелий считал, что в мире господствует
либо случайность, либо порядок и закономерность? Почему
он думал, что эти две возможности исключают друг друга?
Мне кажется, в действительности оба утверждения не
противоречат друг другу, более того, они действуют
одновременно: в мире господствует случай и одновременно
действует порядок и закономерность, которые формируются
из массы случайностей, согласно законам случайного.
Вот почему я и придаю такое значение выяснению понятия
вероятности и интересуюсь неразрывно связанными с
этим вопросами. Разумеется, мне нет нужды обьяснять
Вам, что с самого начала, как только мы начали переписку
по поводу этих проблем, и Вы и я знали, что речь идет
о вопросах куда более серьезных, чем игра в кости
Альфред Реньи. Письма о вероятности
http://kirsoft.com.ru/freedom/KSNews_89.htm
На рисунке условно показано характерное различие стратегии
мышления обоих полушарий мозга. Из случайного набора
деталей левое полушарие строит четкий ряд геометрических
фигур, наводит порядок в их расположении. Правое полушарие
из тех же деталей придумывает некий целостный образ,
в котором каждый элемент наделен внутренней или видимой
связью с другими.
http://www.in.ks.ukrpack.net/r111/other/mental.htm
Свобода воли Еще Гегель обратил внимание на
то, что идея свободы в большей степени, чем какая-либо
другая, подвержена величайшим искажениям. И действительно,
западная мысль, в соответствии с требованиеми дихотомического
разбиения, всегда и, конечно, тщетно пыталась отделить
собственно свободное поведение от детерминированного.
В вероятностной логике в этом нет необходимости. Силлогизм
Бейеса позволяет свободно генерируемому фильтру p(y/m)
взаимодействовать с детерминированной составляющей
p(m), порожденной всем прошлым культуры, воспитанием
и пр. Таким образом, при возникновении всякой новой
ситуации y происходит мультипликативное смешивание
предначертанного (судьбинного) начала со свободой
выбора - спонтанным началом
В.В. Налимов. Разбрасываю мысли
http://kirsoft.com.ru/freedom/KSNews_961.htm
Еще одно письмо к читателю Дорогой читатель!
Перечитав к Вам письмо, я увидел, что оно нуждается
в дополнении. В этом письме я попытался обьяснить,
чем именно привлекла меня форма вымышленных писем
Паскаля, но не обьяснил, что заставило меня избрать
те вопросы, которые затронуты в этих письмах. Я хочу
исправить допущенный мной просчет в настоящем письме.
<…>
В заключение я хочу заметить, что принципиальные вопросы,
относящиеся к понятию вероятности, тесно связаны с
некоторыми фундаментальными проблемами математической
статистики и теории информации (Так, например, в споре
об обьективности или субьективности вероятности главную
роль играет так называемый байесовский метод). Однако
все это уже выходит за рамки настоящей книги. Возможно,
когда-нибудь я напишу о них. Пока же желаю Вам всего
наилучшего.
Ваш Альфред Реньи
Альфред Реньи. Письма о вероятности
Результат, приписываемый Т. Байесу (1702-1761), по-видимому,
впервые получил современную формулировку у Лапласа
в его Опыте философии теории вероятностей. В главе
Общие принципы теории вероятностей он сформулировал
принцип VI, который относится к вероятности гипотез,
или как писал Лаплас, вероятности причин. Пусть некоторое
событие А может произойти с одним из n несовместимых
событий В(1), В(2),…, В(n) и только с ними; эти события
Лаплас назвал причинами. Спрашивается, если известно,
что событие наступило, чему равна вероятность того,
что осуществилась и причина В(i)? Вот формулировка
ответа, данного Лапласом: вероятность существования
какой-либо из этих причин равна, следовательно, дроби,
числитель которой есть вероятность события, вытекающая
из этой причины, а знаменатель есть сумма подобных
вероятностей, относящихся ко всем причинам: если эти
различные причины, рассматриваемые a priori, не одинаково
вероятны, то вместо вероятности события, вытекающей
из каждой причины, следует взять произведение этой
вероятности на вероятность самой причины. - Легко
понять, что Лаплас словесно сформулировал известное
правило Байеса
P{B(i)/A} = ( P{B(i)} P{A/B(i)}) / Sum( P{B(i)} P{A/B(i)})
В сущности формула полной вероятности уже содержится
в этом выражении. Однако Лаплас этим не удовлетворился
и в VII принципе дал формулировку собственно формулы
полной вероятности, также лишь словесную. Вообще следует
сказать, что Лаплас в этой книге строго выдерживал
правило: в философской книге не выписывать математические
формулы, в случае же необходимости ограничиваться
их словесными формулировками. Приведем данную Лапласом
формулировку полностью.
VII принцип. Вероятность будущего события есть сумма
произведения вероятности каждой причины, выведенной
из наблюдаемого события, на вероятность того, что
при существовании этой причины будущее событие будет
иметь место.
После формулировки принципа Лаплас привел пример для
его иллюстрации, который был использован одновременно
и для иллюстрации принципа VI. Вот этот первый пример:
в урне два шара, каждый из которых может быть только
черным или белым. Вынимают один из этих шаров и затем
возвращают в урну, чтобы приступить к следующему тиражу.
В первых двух тиражах появились белые шары. Какова
при этом условии вероятность того, что белый шар появиться
и при третьем извлечении? Далее Лаплас рассмотрел
следующий свой знаменитый пример: Если отнести древнейшую
историческую эпоху за пять тысяч лет, или за 1 826213
дней назад и принять во внимание, что солнце постоянно
восходило за этот промежуток времени при каждой смене
суток, то будет 1 826214 шансов против одного за то,
что оно взойдет и завтра…Бюффон в своей политической
арифметике исчисляет по-другому предыдущую вероятность…Но
верный способ перехода от прошедших событий к вероятности
причин и будущих событий был не известен этому знаменитому
писателю. - Мне хотелось бы обратить внимание на последние
слова, приведенные в этом высказывании. Они убеждают
нас в том, что сам Лаплас изобретение этих формул
относил не к Байесу, а к себе
Б.В. Гнеденко. Очерк по истории теории вероятностей
http://kirsoft.com.ru/freedom/KSNews_345.htm
Случайность - это отсутствие закономерности
А.Н. Колмогоров
В дальнейшей истории культуры представления о случае
также преимущественно связывались с раскрытием основ
поведения человека, его судьбы. Наиболее концентрированным
образом они высвечивались при раскрытии представлений
о свободе воли человека. Свобода воли прерывает те
жесткие неумолимые связи и воздействия, в которые
вплетен человек, и тем самым позволяет ему стать творцом
нового и осознать свою силу и самостоятельность. Представления
о случае начали соотноситься с раскрытием высших творческих
возможностей и ценностей человеческой личности (см.,
напр: Налимов В.В. - Спонтанность сознания. М..1989)
Ю.В. Сачков. Случайность формообразующая
http://kirsoft.com.ru/freedom/KSNews_97.htm
В современной науке случай из выражения незнания превратился
в способ выражения знания. Если ориентироваться на
так называемую алгоритмическую, то случайной надо
считать такую последовательность знаков, которая на
может быть алгоритмически записана короче, чем она
есть. Иными словами, эта последовательность обладает
максимальной сложностью - мы не можем ее передать
по каналам связи при помощи некой краткой записи.
Но представление о максимальной сложности явления
перестало быть синонимом нашего незнания. Мы готовы
теперь видеть Мир принципиально неалгоритмизируемым,
т.е. не вмещающимся в логические конструкты. Это кардинальное
изменение нашего видения Мира. Чтобы достигнуть его,
нашей культуре потребовалось более двух тысяч лет
В.В. Налимов, Ж.А. Дрогалина. Реальность нереального
http://kirsoft.com.ru/freedom/KSNews_963.htm
 Однако вопрос столь интересен, что я не
раскаиваюсь в том, что изложил вам эти взгляды
Анри Пуанкаре. Крючкообразные атомы Эпикура
http://kirsoft.com.ru/freedom/KSNews_327.htm
...Я открыл активную силу, творческое начало среди
случайного: случай сам есть только столкновение творческих
импульсов.
(Ф. Ницше. Воля к власти. Опыт переоценки всех ценностей.
673)
Это последнее высказывание нам представляется эквивалентным
утверждению о том, что движущим началом творчества
является спонтанность. Она случайна, поскольку не
интерпретируется в причинно-следственной связи...Случайность
- это все же еще не спонтанность. Случайность обьясняет
случайное поведение элементарного события, т.е. чего-то
очень простого, элементарного, механического по своей
природе. Спонтанность относится к изменению текстов,
к изменению смыслов в их взаимосвязанности, т.е. к
имеющему смысл изменению смыслов. И разве готовы мы
априори к тому, чтобы признать возможнось появления
смыслов из нового, но по прежнему механистического
понимания случайности, если оно даже будет связано
с представлением о термодинамике неравновесных систем?
...Вскоре после того, как был закончен первый вариант
этой работы, скончался А.Н. Колмогоров. Из жизни ушел
гений. Вместе с ним ушла и целая эпоха. Конечно, я
не могу считаться его учеником, но вместе с ним я
проработал 10 лет, будучи его первым заместителем
по межфакультетной Лаборатории статистических методов
МГУ. Для меня, пожалуй, самым важным из его суждений
было часто повторяемое высказывание, звучавшее примерно
так: Мы имеем, по крайней мере, одно весьма серьезное
преимущество - владеем вероятностным мышлением. Он
никогда не эксплицировал (разьяснял) эту мысль - ее
нужно было понимать в зависимости от ситуации, в которой
она произносилась
...Панорама философской мысли, на фоне которой
будет раскрываться архитектоника личности
1 Введение Развивая вероятностно ориентированную
философию, мы готовы встретиться лицом к лицу с основной
проблемой существования.
Что есть личность?
Это - фундаментальный вопрос не только для психологии,
социологии и антропологии, но также и для философии
и теологии. Это роковой вопрос для человека. Умение
выстоять перед этим вопросом, не испугаться его, не
уклониться от него, будет определять возможность человека
выжить в этом Мире, быстро идущем в непонятное будущее.
Как идентифицировать человека?
Что остается неизменным на протяжении всей жизни,
если все непосредственно воспринимаемое нами изменяется
во времени? Какую роль в идентификации личности играет
тело человека, если мы знаем, что в результате метаболического
круговорота в мозге в течение нескольких месяцев почти
все атомы оказываются замененными? Не
является ли личность только процессом - может быть,
точнее - случайным процессом, возможность развития
которого определяется наличием физического тела? В
чем различие в представлениях о личности в различных
культурных традициях? Как связана личность с предельной
(инвариантной времени) реальностью Мира? Останется
что-либо содержательное от представления о личности,
если снять с нее покровы, наброшенные на нее культурной
средой и, соответственно, личной историей? Внесла
ли современная наука что-то существенно новое в понимание
природы личности? Любая попытка понять смысл существования
человека неизбежно замыкается на понимание того, что
есть личность. Но всякие рассуждения о природе личности,
конечно, не более чем попытка раскрыть тот образ личности,
который возникает внутри нашего сознания как мифы
почерпнутый нами откуда-то из бездонных глубин нашего
сознания и скорректированный всем нашим жизненным
опытом (включающим и наш опыт общения с наукой) и
доступным нам опытом культур прошлого. Каждая культура
создает свои мифы о личности. Критические моменты
истории - это точки возникновения новых мифов. Будучи
созданным, миф становится самостоятельной семантической
реальностью. Развиваясь, он в своем раскрытии задает
новое направление в эволюции культуры. Большие исторические
события - это прежде всего столкновение мифов о личности.
И каждый новый миф всегда недостаточно нов: прошлое
в той или иной степени всегда содержится в настоящем.
Он в то же время нов в том смысле, что через него
мы заглядываем в будущее. История развития представлений
о природе личности - это, по существу, история развития
культур.
В.В. Налимов. Спонтанность сознания. Вероятностная
теория смыслов и смысловая архитектоника личности
http://kirsoft.com.ru/freedom/KSNews_958.htm
Вероятностное исчисление смыслов
1 Введение Развивая наши представления об исчислении
смыслов, мы будем обращаться прежде всего к человеку.
Сознание человека выступает перед нами как некий текст.
Всякий текст - это носитель смыслов. Наш текст особый
- удивительно гибкий, подвижный, динамический, способный
к изменению. Текст эволюционирующий. Все время создающийся
заново. Сознание открыто Миру. Взаимодействуя с ним,
оно управляется своей текстовой природой. Управляя,
задает вопросы и прислушивается, получая ответы из
ниоткуда, из Мира метасемантики. Создавая новые тексты,
сознание порождает новые Миры - новые культуры. Сознание
оказывается трансцендирующим устройством, связывающим
разные Миры. Оно выступает в роли творца - микродемиурга.
2 Исходные посылки:
Будем считать, что весь воспринимаемый нами эволюционирующий
мир можно рассматривать как множество текстов. Когда
мы говорим о биосфере, то текстами оказываются отдельные
особи, виды и другие составляющие биосферы. Когда
рассматриваем ноосферу, то текстами становятся сознания
людей как в их личных, так и коллективных проявлениях;
Тексты характеризуются дискретной (семиотической)
и континуальной (семантической) составляющими;
Семантика определяется вероятностно задаваемой структурой
смыслов. Смыслы - это есть то, что делает знаковую
систему текстом;
Изначально все возможные смыслы мира как-то соотнесены
с линейный континуумом Кантора - числовой осью m,
на которой в порядке возрастания их величин расположены
все вещественные числа. Иными словами, смыслы мира
спрессованы так, как спрессованы числа на действительной
оси;
Спрессованность смыслов - это не распакованный (непроявленный)
Мир: семантический вакуум;
Распаковывание (появление текстов) осуществляется
вероятностной взвешиваемостью оси m: разным ее участкам
приписывается разная мера. Метрика шкалы m предполагается
изначально заданной и остающейся неизменной;
Соответственно, семантика каждого конкретного текста
задается своей функцией распределения (плотностью
вероятности) - p(m). Будем полагать, что функция распределения
достаточно гладкая и асимптотически приближается (если
иное специально не оговорено) к оси абсцисс. В общем
случае можно говорить о текстах, определяемых функцией
распределения вероятности, задаваемой на многомерном
пространстве. В тексте смыслы всегда оказываются заданными
избирательно. Нам не дано знать все. Функция
p(m) оказывается тем окном, через которое нам дана
возможность всматриваться в семантический мир.
3 Правило вывода
Изменение текста - его эволюция - связана со спонтанным
появлением в некоей ситуации y фильтра p(y/m), мультипликативно
взаимодействующего с исходной функцией p(m). Взаимодействие
задается известной формулой Бейеса:
p(m/y) = k p(m) p(y/m),
где p(m/y) - функция распределения, определяющая семантику
нового текста, возникающего после эволюционного толчка
y; k - константа нормировки. Формула Бейеса в нашем
случае выступает как силлогизм (напомним здесь определение
силлогизма, данное Аристотелем в Первой Аналитике:
силлогизм же есть речь, в которой если нечто предположено,
то с необходимостью вытекает нечто отличное от положенного
в силу того, что положенное есть): из двух посылок
- p(m) и p(y/m) с необходимостью следует текст с новой
семантикой p(m/y). В силлогизме Бейеса, в отличие
от категорического силлогизма Аристотеля, как обе
посылки, так и возникающее из них следствие носят
не атомарный, а вероятностно размытый характер, и
хотя бы вторая из посылок носит условный (обусловленный
ситуацией y), а не категорический характер.
...Философ - настоящий философ - всегда поэт. Он остается
поэтом даже тогда, когда говорит о науке или заимствует
что-то из науки, или даже опирается на науку. Философ
свободно рисует паттерн бытия. Философ - это мыслитель,
свободный от парадигмы своего времени. И бессмысленно
упрекать его за то, что ему не удалось что-то осветить.
В.В. Налимов. Спонтанность сознания. Вероятностная
теория смыслов и смысловая архитектоника личности
Глава 9. Определение ценности информации Понятие
ценности информации, вводимое в настоящей главе, связывает
шенноновскую теорию информации с теорией статистических
решений. В последней теории основным является понятие
средних потерь или риска, которое характеризует качество
принимаемых решений. Ценность информации специализируется
как та максимальная польза, которую данное количество
информации способно принести в деле уменьшения средних
потерь. Такое определение ценности информации оказывается
связанным с формулировкой и решением определенных
условных вариационных задач. Ввести понятие ценности
информации можно тремя родственными способами, выбирая
за основу хартлиевское, больцмановское или шенноновское
количество информации. При выборе шенноновского количества
информации нужно решать третью вариационную задачу.
Между указанными определениями существует известная
связь, и одно понятие может служить удобной заменой
другого. Все эти понятия характеризуют определенный
обьект - бейесовскую систему, который наряду
с каналом является важнейшим обьектом исследования
теории информации. Прежде чем теория ценности информации
превратилась в самостоятельный раздел теории информации,
существующий и развивающийся независимо от теории
передачи сообщений по каналам, некоторые ее элементы
и результаты вызревали в недрах традиционной теории,
исследующей каналы. К. Шенноном в 1948 г. [1]
была рассмотрена третья вариационная задача, взятая
в форме минимизации энтропии при заданном уровне потерь
или, в шенноновской терминологии, при заданной точности
воспроизведения. Используемая при этом терминология
далека от терминологии статистических решений, но
это, разумеется, не меняет математической сущности.
Позднее Колмогоровым [1] было введено основанное
на указанной вариационной задаче понятие e
- энтропии и получен ряд относящихся к нему
результатов. Вместо термина e
-энтропия мы используем здесь термин a -
информация, поскольку рассматривается все-таки
не энтропия, а шенноновская информация. В настоящее
время в работах американских авторов вслед за работами
Шеннона [1,3] данная теория (в первоначальной
шенноновской интерпретации) получила значительное
развитие (см. особенно монографию Бергера [1]).
Мы придерживаемся, однако, другой интерпретации и
другой терминологии. В принятом нами способе изложение
понятия и результаты теории рассматриваются независимо
от понятия каналов с помехами, их пропускной способности.
Мы хотим подчеркнуть, что круг вопросов, связанный
с третьей вариационной задачей, равноправен кругу
вопросов, относящихся ко второй или первой вариационной
задаче (это, конечно, не исключает возможности обьединенного
рассмотрения, например, формулировки обобщенной
теоремы Шеннона, см. 11. 5)
9.1. Уменьшение средних штрафов при уменьшение
неопределенности Польза, приносимая информацией,
заключается в том, что она позволяет уменьшить потери,
связанные со средними штрафами. Предполагается, что
в условии задачи указана функция штрафов, которая
по-разному штрафует различные действия и решения,
принимаемые действующим лицом. За более удачные действия
назначаются меньшие штрафы или большие награды, чем
за менее удачные. Цель заключается в минимизации средних
штрафов. Имеющаяся в распоряжении информация позволяет
добиться меньшего уровня средних потерь. Прежде чем
переходить к математической формулировке сказанного,
рассмотрим в этом параграфе, носящем подготовительный
характер, более простую задачу (типа первой вариационной
задачи), иллюстрирующую тот факт, что высокая неопределенность
в системе (негинформация), действительно, повышает
уровень потерь. Пусть имеется система с дискретными
возможными состояниями. В действительности осуществляется
одно из возможных состояний и величина x,
описывающая состояние, принимает одно определенное
значение. Пусть в соответствии с назначением системы
указана функция штрафа с(x). Если,
например, требуется, чтобы система придерживалась
вблизи нулевого состояния x=0
(задача стабилизации), то может быть взята, скажем,
функция штрафа с(x) = abs(x).
По каким-либо причинам пусть в данный задаче невозможно
обеспечить идеальное равенство x=0.
Например, вследствие неизбежных флюктуаций в составных
частях системы, в ней присутствует статистический
разброс, т.е. имеет место неопределенность - негинформация.
При этом величина x будет случайной
и будет описываться некоторыми вероятностями P(x).
Мерой неопределенности, как известно, является
энтропия
Hx =
S P(x) ln
P(x).(9.1.1)
Будем предполагать, что количество неопределенности
Hx зафиксировано и
рассмотрим, какие при этом возможны средние штрафы
M c(x). Существует некоторый
нижний предел для этих штрафов, который может быть
найден теми же методами, что и в 3.2, 3.3, 3.6. В
самом деле, там уже решалась задача на экстремум средних
штрафов при условии фиксированной энтропии (первая
экстремальная задача)
<...>
Согласно теореме 3.4 потери R0(Hx)
при Т > 0 возрастают с ростом энтропии H(x).
Пусть теперь имеется приток информации, уменьшающий
энтропию согласно (1.1.2). Если сначала в системе
была негоинформация Hx
и вследствие притока информации I она уменьшилась
до величины Hx - I
= Hps, то, очевидно, это привело к уменьшению
потерь. Разность говорит о той пользе, которую принесла
информация I. Она есть количественная мера ценности
информаци
<...>
 Рис. 9.1.
Средние потери и дифференциальная ценность информации
как функции от энтропии (пример 1).
<...>
Как было отмечено, уменьшение неопределенности в системе
может быть достигнуто приобретением информации. При
этом количество информации мыслилось просто как разность
двух энтропий Hx одной
переменной x. Между тем, согласно
в гл. 6, количество информации I = Ixy
является более сложным понятием, предполагающим существование
двух случайных величин x и y (а не одной x).
Должна быть случаная величина x, о которой передается
информация, и случайная величина y, которая несет
эту информацию. Это заставляет усложнить приведенные
в настоящем параграфе рассуждения, перейдя от простой
(первой) вариационной задачи к усложненной вариационной
задаче, которую будем называть третьей вариационной
задачей теории информации
9. 3. Определение ценности шенноновского
количества информации и a-информации Как и в п.
2 предыдущего параграфа, будем считать, что задана
случайная величина x, описываемая распределением P(dx)
и (измеримая) функция штрафов c(x,u) от x и оценки
u. Значения x и u являются точками заданных измеримых
пространств X и U соответственно. Тем самым задана
система [P(dx), c(x,u)], которую будем называть бейсовской
системой
11.5 Обобщенная теорема Шеннона Здесь будет
рассмотрено обобщение результатов п.7.3 (теоремы 7.1
и 7.2) и п.8.1 (теорема 8.1) на случай произвольного
критерия качества. Напомним, что в гл. 7 был взят
единственный критерий качества, именно, качество информационной
системы характеризовалось средней вероятностью принятия
ложного сообщения. Работами Колмогорова [1], Шеннона
[4], Добрушина [1] начато распространение указанных
результатов на случай более общего критерия качества,
характеризуемого произвольной функцией штрафов с
Р.Л. Стратонович. Теория информации
http://kirsoft.com.ru/freedom/KSNews_186.htm
Капли жизни. Н.К. Рерих. 1924г.
|