1.12. Информация и энтропия открытых систем. Закон сохранения суммы информации и энтропии
1.12.1. Статистическое определение по Шеннону Определение понятия - информация - не менее сложно, чем определение понятий: хаос и порядок. В книге (Чернавский, 2001) в начале главы - Основные понятия динамической теории информации - приведено более двадцати определений информации. Среди них есть, несомненно, очень интересные. Отметим, лишь определение Генри Кастлера:
Информация есть случайный и запомненный выбор одного из нескольких возможных и равноправных -.
Однако, ни в этом определении, ни в других нет указания ни на способ количественной оценки информации, ни на определение ее ценности. Все определения в той или иной мере основаны на интуиции. Ясно лишь, что количественное определение информации может быть дано лишь на основе статистической теории.
Основы количественной теории информации заложены в классических работах Шеннона.
Шеннон предложил два количественных способа определения информации. Первое соответствует определениям энтропии по Больцману и Гиббсу. Большая общность определения Шеннона в том, что оно не связано с механической моделью вещества как это имеет место в статистической теории Больцмана и Гиббса. Шеннон использует распределения значений величин, которые не имеют физических аналогов. Именно такие величины существенны, в частности, в теории связи, одним из основоположников которых был Клодт Шеннон.
Энтропия, введенная Шенноном, получила название S-информация. Как и энтропия (S) Больцмана-Гиббса она служит мерой степени неопределенности при выбранном уровне статистического описания рассматриваемой системы. По этой причине и оправдан термин S-информация.
Такое определение, хотя и широко используется в литературе, все же не является достаточным в теории информации и, тем более, при исследовании информативности открытых систем. На примере критерия S-теорема было показано, что относительная мера степени упорядоченности состояний открытых систем определяется (с учетом описанной выше перенормировки к заданному значению средней энергии) разностью энтропий.
В связи с этим для открытых систем более предпочтительным является другое, также предложенное К. Шенноном, определение информации. Суть его состоит в следующем.
Информация выражается разностью безусловной и условной энтропий, тем самым, с соответствующим изменением степени неопределенности при статистическом задании состояний рассматриваемой системы.
Научное значение работ К. Шеннона в теории информации прекрасно охарактеризовал А.Н. Колмогоров, в предисловии к русскому изданию сборника: К. Шеннон. Работы по теории информации и кибернетики (М.: ИЛ, 1963). А.Н. Колмогоров писал:
Значение работ Шеннона для чистой математики не сразу было достаточно оценено. Мне вспоминается, что еще на международном съезде математиков в Амстердаме (1951) мои американские коллеги, специалисты по теории вероятностей, считали мой интерес к работам Шеннона несколько преувеличенным, так как это более техника, чем математика. Сейчас такие мнения вряд ли нуждаются в опровержении. Правда, строгое математическое обоснование своих идей Шеннон в сколько-либо трудных случаях предоставил своим продолжателям. Однако, его математическая интуиция изумительно точна.-
Работы К. Шеннона послужили стимулом для проведения иссследований, заложивших прочный математический фундамент теории информации. Отметим лишь первые работы А.Я. Хинчина, А.Н. Колмогорова и М. Гельфанда, которые были опубликованные на страницах журнала Успехи математических наук и в ДАН СССР. В первой из них дано доказательство основных теорем теории информации для дискретного случая, а во второй - наиболее общее определение энтропии и информации для непрерывных распределений.
В последующем потоке работ по теории информации выделяется книга Р.Л. Стратоновича (Теория информации. М., Сов.радио, 1975). В ней, наряду с традиционным к тому времени изложением основных результатов теории информации Шеннона, излагается и разработанная Р.Л. Стратоновичем теория ценности информации. Прослеживается также глубокая аналогия математического аппарата теории информации и статистической термодинамики. Известны и другие, чем у Стратоновича, способы определения ценности информации. Один из них предложен в работах М.М. Бонгарда и А.А. Харкевича, а другой в работе В.И. Корогодина (см. Чернавский). Существенно при этом, что количественная оценка ценности информации существенно зависит от достижимости (полной, вероятной или невероятной) поставленной цели. В этом отношении понятие: ценность информации - является, конечно, субьективным.
При достижении поставленной цели роль получаемой информации может быть двоякой. Условно можно считать информацию положительной, если она облегчает достижение поставленной цели. Например, получение отраженного сигнала при радиолокации. Естественно, что информация об отраженном при отражении налета является ценной.
Напротив, информация отрицательна, если наличие ее затрудняет достижение поставленной цели. Отрицательную, в этом смысле, информацию можно назвать и дезинформацией. Примером может служить шумовое подавление полезного сигнала при радиолокации. При этом для налетчиков дезинформация является ценной.
Из изложенного следует, что понятие ценности информации не является однозначным. Это существенно затрудняет формализацию этого понятия. За примерами количественных определений ценности информации отсылаем к книгам Р.Л. Стратоновича и Д.С. Чернавского. В этих книгах, а также в книгах Г. Хакена (Информация и самоорганизация) и Б.Б. Кадомцева (Динамика и информация), прослеживается также глубокая аналогия математического аппарата теории информации и статистической термодинамики. Значение этих книг прежде всего в том, что они содержат существенный вклад в разьяснение ряда принципиальных вопросов и понятий как классической, так и квантовой физики. В число основных входит и понятие информация.
При этом, все же, остается открытым вопрос специфики определения информации открытых систем, в частности информации от значений управляющих параметров. Количественное определение информации открытых систем и является одной из задач настоящей книги.
Отправным пунктом при этом будет служить второе определение информации по Шеннону, когда она выражается разностью безусловной и условной энтропией и связана, тем самым, с соответствующим изменением степени неопределенности при статистическом задании рассматриваемой системы. Однако, для определения информации открытых систем с целью выявления зависимости информации от управляющих параметров будет необходимо существенное изменение формулы Шеннона.
При этом снова будут выделены два класса открытых систем. К первому относятся системы, для которых, как, например, для газа Больцмана, постоянство средней энергии в процессе эволюции является свойством системы. Для таких систем, как будет показано в следующей главе, выражение для информации совпадает с функционалом Ляпунова, который определяется разностью безусловной (например, для неравновесных состояний в процессе временной эволюции) энтропий. Для такого рода систем имеет место закон сохранения информации и энтропии.
Для систем второго класса средняя энергия меняется как в процессах временной эволюции, так и при эволюции стационарных состояний в пространстве управляющих параметров. В этих случаях имеются два способа определения информации. Первый, который широко используется в настоящее время как для физических, так и для биологических систем, основан на использовании критерия относительной степени упорядоченности - критерия S-теорема. Второй - для систем броуновского типа, когда рассматриваемая система находится в флуктуирующей среде с заданной интенсивностью шума. В этом случае информацию можно определить как функционал Ляпунова, который, однако, определяется не разностью энтропий, а разностью свободных энергий.
Особое рассмотрение проводится для систем, например, биологических, которые не существуют в состоянии статистического равновесия. Для систем этого класса, как и выше, за начало отсчета степени упорядоченности, теперь и степени информативности, принимается состояние, которое отвечает норме хаотичности.
Ю.Л. Климонтович. Энтропия и информация открытых систем
http://kirsoft.com.ru/freedom/KSNews_228.htm