А.Н. Колмогоров. Три подхода к определению понятия Количество информации (в формате .pdf) http://www.biometrica.tomsk.ru/kolmogorov/3podhoda.pdf
Отличный от взглядов Хартли, Шеннона, Винера и Бриллюэна подход к определению понятия - количество информации -, был предложен в 1965 году академиком А.Н. Колмогоровым, который он назвал алгоритмическим.
Исходя из того, что - по существу наиболее содержательным является представление о количестве информации - в чем-либо - (Х) и - о чем-либо - (Y) -, А.Н. Колмогоров для оценки информации в одном конечном объекте относительно другого конечного объекта предложил использовать теорию алгоритмов. За количество информации при этом, принимается значение некоторой функции от сложности каждого из объектов и длины программы (алгоритма) преобразования одного объекта в другой.
Алгоритмический подход к количественному определению информации
http://vbvvbv.narod.ru/problemnegentropy/algoritm/index.htm
Как отмечает А. Н. Колмогоров, - информация по своей природе не специально вероятностное понятие -. В подтверждение этого тезиса А. Н. Колмогоров развивает новый подход к определению количественной меры информации, отталкиваясь от теории алгоритмов.
Особенность алгоритмического подхода в теории информации заключается в том, что используемая в нем количественная мера информации предполагает наличие двух множеств. Можно говорить лишь о количестве информации, содержащейся в одном множестве относительно другого. Информация выступает, следовательно, в форме отношения между множествами. Количество ее определяется как минимальная длина программы, однозначно преобразующая одно множество в другое.
На первый взгляд между алгоритмической и энтропийной трактовками информации нет ничего общего. Однако можно провести между ними определенную параллель.
В самом деле, выбор одной альтернативы из некоторого множества возможных предполагает, что в нашем распоряжении имеется алгоритм, который переводит исходное множество альтернатив в множество, содержащее одну альтернативу. Именно по такой схеме осуществляется работа оптимизационных программ. Исходным множеством альтернатив в этом случае является так называемое допустимое множество (область оптимизации). Задача заключается в том, чтобы из допустимого множества выбрать множество оптимальных решений в смысле того или иного критерия.
Ю.Г.Марков. Информация как функциональная характеристика системы
http://psylib.org.ua/books/marko01/txt04.htm#2