|
6.2. Информация связи дискретных случайных величин
Переходя к случаю произвольных помех, рассмотрим величину
Ixy = Hx - HxЅy.
(6.2.1.)
Называемую взаимной (парной) информацией связи случайных
величин х и y.
Ее можно интерпретировать в некотором смысле как количество
информации об х, содержащееся в y.
Количество информации (6.2.1.) было введено
Шенноном [1], который показал также значение этой
величины в теории информации.
Будем называть его шенноновским количеством информации.
Имеется немало косвенных причин для того, чтобы трактовать
величину (6.2.1.) как меру количества информации
(например неотрицательность, аддитивность и пр.),
однако главной причиной в конечном счете является
тот факт, что количество (6.2.1.) асимптотически
сводится к хартлиевскому количеству информации ln
M.
Об этом говорит рассматриваемая в дальнейшем теорема
Шеннона (см. гл. 7).
Без этого использование (6.2.1.) в качестве
меры информации носило бы более умозрительный, нежели
практический характер.
Поскольку Hx = Hpr - количество
априорной неопределенности, а HxЅy
= Hps - среднее количество апостериорной
неопределенности при наблюдении величины y, то количество
информации (6.2.1.), которое можно записать
Ixy = Hpr - Hps
Указывает среднюю величину неопределенности, исчезнувшей
при приеме информации.
Подобная трактовка количества информации давалась
раньше в параграфе 1.1. (1.1.2.).
Используя обычное соотношение HxЅy
= Hxy - Hy (см. 1.3.4.)),
мы можем записать формулу (6.2.1.) в виде
Ixy = Hx + Hy - Hxy.
(6.2.2.)
откуда видна симметрия этой величины - она остается
неизменной, если x и y меняются ролями.
Следовательно, такое же количество неопределенности
в среднем исчезнет, если наблюдаемой переменной является
х, а неизвестной переменной - y:
Ixy = Hy - HyЅx.(6.2.3.)
На рис. 6.1. наглядно изображены соотношения,
имеющиеся между величинами Hx, Hy,
Hxy, HxЅy,
HyЅx, Ixy.
Поскольку условная энтропия не превосходит безусловную
(теорема 1.6.), информация связи Ixy
является неотрицательной.
Рис. 6.1. Соотношение между информационными характеристиками
двух случайных величин.
Раскрывая в (6.2.2.) энтропии Hx,
Hy, Hxy по обычной формуде типа
(1.2.3.), записываем количества информации
связи двух случайных величин в виде
Ixy = M[Hx + Hy
- Hxy] = M ln P(x,y)/((P(x)P(y))(6.2.4.)
Очевидно, что возможны также и такие эквивалентные
формы записи:
Ixy = M ln P(xЅy)/P(x)
= M ln P(yЅx)/P(y).
Подобно тому, как в параграфе 1.2. помимо средней
энтропии Hx
мы рассматривали случайную энтропию
H(x) = - ln P(x),
можно ввести случайную информацию связи
I(x,y) = Hx + Hy - Hxy
= ln P(x,y)/((P(x)P(y)) = ln P(xЅy)/P(x)(6.2.5.)
Тогда, как легко видеть, (6.2.4.) примет вид
Ixy = MI(x,y)(6.2.6.)
Из (6.2.5.) вытекает следующая формула для
совместного распределения:
P(x, y) = e -H(x) - H(y) + I(x,y)(6.2.7.)
Следовательно, парная информация I(x,y) доопределяет
однократные распределения вероятностей
P(x) = e -H(x), P(y)
= e -H(y), (6.2.8.)
до двукратного распределения.
Поскольку из двукратного распределения суммированием
можно получить однократные
еyP(x,y) = P(x), еxP(x,y)
= P(y),
то вследствие (6.2.7.), (6.2.8.) случайная
информация обязана удовлетворять уравнениям
еye I(x,y) - H(y)
= 1, еxe
I(x,y) - H(x) = 1.
Средняя информация связи (6.2.4.), как отмечалось,
является заведомо неотрицательной величиной. Этого
нельзя сказать о случайной информации (6.2.5.).
Возможны и отрицательные ее значения, хотя положительные
превалируют, так что усреднение приводит к неотрицательной
величине.
Докажем, что уже условное усреднение I(x,y) только
по х или по y дает неотрицательную величину.
Доказательство. Формулу (6.2.5.) запишем в
виде
I(x,y) = - ln P(x)/P(xЅy).(6.2.9.)
Используя неравенство
ln P(x)/P(xЅy) Ј
-1 + P(x)/P(xЅy),
будем иметь
I(x,y) і 1 - P(x)/P(xЅy).(6.2.10.)
Если это неравенство условно усреднить по х, т.е.
взять условное математическое ожидание M […Ѕ
y], то поскольку
M[P(x)/P(xЅy) Ѕ
y] = еxP(x)/P(xЅy)
P(xЅy) = 1,
из (6.2.10) получим
M[I(x,y)Ѕy] і
0.
Заменив в этом рассуждении х на y, а y на х, получим
второе требуемое неравенство: M[I(x,y)Ѕx]
і 0.
Любопытно отметить, что будет иметь место обратное
неравенство
еxI(x,y)P(x) Ј
0 (или еyI(x,y)P(y)
Ј 0),
если усреднение проводить не с весом P(xЅy),
а с весом P(x) (или P(y)).
В самом деле, записав правую часть (6.2.9.)
или (6.2.5.) в виде ln P(yЅx)/P(y)
и используя неравенство
ln P(yЅx)/P(y) Ј
P(yЅx)/P(y) -1,
получим вместо (6.2.10.)
I(x,y) Ј P(yЅx)/P(y)
-1,
Усредняя это неравенство с весом P(x), будем иметь
еxI(x,y)P(x) Ј
1/P(y) еxP(yЅx)P(x)
- 1 = 0,
Поскольку еxP(yЅx)P(x)
= P(y).
Таким образом, отрицательных значений случайной информации
I(x,y) не так уже мало. Это одна из причин для того,
чтобы называть количеством информации не I(x,y), а
соответствующее среднее значение Ixy
|