Реферат: Философия информации и сложных систем

Количественные теории информации. Мера Шеннона

До эпохи интенсивного развития систем связи и до возникновения кибернетики понятие информации считалось интуитивно понятным и не нуждающимся в точных определениях, а тем более в философском анализе. История учений об информации начиналась с разработки ее количественного аспекта, что диктовалось потребностями радио- и телефонной связи. При этом любая количественная теория неизбежно была связана с попыткой дать то или иное общее определение. Каждой формуле количества информации соответствовал свой взгляд на ее сущность.

Наиболее разработанной является статистическая теория информации [А11], [Б11], возникшая на базе теоретико-вероятностных подходов и связанная с определением информации как снятой неопределенности .

В задачах теории связи рассматривается система, состоящая из источника информации, приемника и расположенного между ними канала связи. Существенно, что для получателя единственным способом получения информации является считывание сообщения из канала связи. Иными словами, приемная сторона не может достоверно предугадать следующее сообщение. Так в рассмотрение вводится понятие неопределенности , играющее в теории фундаментальную роль. До приема сообщения у приемника существует неопределенность (незнание) относительно того, какое сообщение придет следующим. Акт приема сообщения снимает данную неопределенность. Если известно, что в канале всязи отсутствуют помехи, то неопределенность снимается полностью. В противном случае неопределенность устраняется лишь частично, так как у приемной стороны остается еще неопределенность (сомнение) относительно того, не является ли принятое сообщение результатом искажения.

Таким образом, неопределенность, снимаемая в результате приема сообщения, отождествляется с информацией. Такое определение весьма близко к житейскому пониманию: информацией мы, как правило, склонны считать то, что для нас еще не известно, ново, то, что уменьшает наше незнание. Например, пусть нас интересует вопрос, прибыл ли поезд. При этом у нас нет никаких оснований для предположения, что он действительно прибыл, так же как и для противоположного предположения. Равновероятность этих двух возможностей означает максимальную неопределенность выбора. Позвонив на вокзал по телефону, и получив ответ на интересующий нас вопрос, мы тем самым устраним неопределенность до нуля. Заметим, что как положительный, так и отрицательный ответ (ввиду их равновероятности) устраняют неопределенность в равной мере. Устранение неопределенности выбора из двух равновероятных возможностей соответствует одному биту информации.

Рассмотрим теперь другую ситуацию, аналогичную первой во всем, кроме того, что мы заранее на 90% уверены в том, что поезд еще не пришел, и лишь 10% оставляем на долю сомнения. Получив по телефону ответ «поезд не пришел», мы не узнаем почти ничего нового: мы и так были заранее подготовлены к такому исходу. Поэтому есть основание считать, что получено мене 1 бита информации. Напротив, получив неожиданный ответ, то есть ответ с большей неопределенностью, мы получаем более 1 бита информации.

Количественным выражением неформального понятия «неопределенность» служит известная и с успехом применяемая мера Шеннона. Пусть всего возможны типов сообщений, причем для каждого типа сообщения априори известна его вероятность . Неопределенность отдельного типа сообщения выражается формулой . Эта формула полностью удовлетворяет рассмотренному выше требованию, так как для более вероятных событий, , она дает малую неопределенность и, наоборот, для маловероятных событий () получаем возрастающую неопределенность . В частности, событие, которое с полной достоверностью может быть предсказано заранее () не несет никакой информации ().

Теперь для определения средней неопределенности одного акта приема сообщения нужно лишь усреднить индивидуальные неопределенности по множеству типов сообщений:

Формула Шеннона совпадает по виду с формулой Больцмана для статистического определения энтропии, взятой с обратным знаком [А2]. В термодинамике энтропия служит мерой хаотичности, беспорядка в системе. Таким образом, информация, будучи отрицательной энтропией (негэнтропией ) может рассматриваться как вклад в упорядочение системы.

Развитие статистической теории информации привело к следующим результатам. Во-первых, стало возможным строгое количественное исследование информационных процессов. Во-вторых, был расширен объем понятия информации, так как статистическая теория полностью отвлекается от двух высших семиотических аспектов информации: семантичиского (смыслового) и прагматического (ценностного). С позиций этой теории информацию несет не только человеческая речь, но и любые объекты и процессы, которые подчиняются статистическим закономерностям.

Далее, статистический подход позволил выявить фундаментальную связь информационных процессов и термодинамики. Знак «минус» в формуле Шеннона однозначно указывает на то, что информационные процессы в известном смысле противоположны естественным термодинамическим процессам, ведущим, как известно, к деградации. Статистическая теория прямо связывает информацию с процессом превращения возможности в действительность, случайности в необходимость, что уже дает основание для философского анализа. Наконец, в рамках статистического подхода было получено первое определение информации, удовлетворительное с философской точки зрения: информация есть устраненная неопределеность .

Вместе с тем, статистическая теория обладает и существенными недостатками, которые являются продолжением ее достоинств. Во-первых, информация связывается лишь со случайными процессами, подчиняющимися вероятностным законам. Статистическая теория утверждает, что информационные процессы не происходят в однозначно детерминиованных системах. В частности, компьютер, выполняющий определенную программу и функционирующий по законам необходимости, оказывается, согласно статистической теории, неинформационной системой, а игральная кость — информационной. Во-вторых, отвлечение от осмысленности и полезности информации, вполне уместное при анализе систем связи, уже не может нас удовлетворить, если речь идет о живых системах, о человеке и обществе. Эти и другие неадекватности заставляют искать иные, более общие определения информации. Это, конечно, означает не отказ от статистической теории, а лишь четкое определение области ее применимости.

Характерной особенностью статистической теории является то, что в качестве математического средства формализации понятия неопределенности была выбрана вероятность . Однако понятие неопределенности в общем случае оказывается шире понятия вероятности, а статистическая теория не может правильно описывать те процессы снятия неопределенности, которые к вероятности не сводятся. Действительно, пусть имеется множество элементов, из которых осуществляется выбор. Выбор может происходить и по заранее заданному закону (детерминированному алгоритму), неизвестному познающему субъекту. В этом случае у субъекта существует неопределенность относительно данного закона, однако эта неопределенность имеет невероятностную природу. Даже если к такому случаю удастся применить статистическую теорию, это будет искусственный прием, искажающий внутреннюю логику и сущность познаваемого процесса. Это есть ни что иное, как втискивание реальной ситуации в прокрустово ложе готовой теории вместо того, чтобы разработать теорию, адекватную своему предмету.

Невероятностные теории, относящиеся к качественному аспекту информации, будут рассмотрены ниже. Здесь же упомянем одну из наиболее известных невероятностных количественных теорий — алгоритмический подход А. Н. Колмогорова. В основе подхода лежит тот факт, что количество информации, заключенной в объекте нас чаще всего интересует не само по себе (абсолютное количество информации), а относительно определенного объекта , то есть взаимное, относительное количество информации. Количество информации по А. Н. Колмогорову — это сложность объекта относительно объекта , данного в качестве строительного материала. А именно, количество информации измеряется как наименьшая длина алгоритма, строящего объект из объекта . Алгоритмический подход связан с конструктивным направлением в математике.

Качественный аспект информации

Теории, имеющие дело с «чистым» количеством информации, по необходимости ограничиваются синтаксическим аспектом — низшим в тройке семиотических характеристик. Однако информация имеет еще и качественную сторону (вернее, стороны), некоторые из которых успешно формализуются и изучаются средставми математики. В частности, для некоторых качественных характеристик информации получены количественные выражения.

Наиболее простая теория, имеющая отношение к качеству информации — это теория кодирования . Данное направление развивалось в тесной связи со статистической теорией, но отнюдь не сводится к ней. Для теории кодирования характерно использование не вероятностных, а алгебраических методов.

Понятие кодирования охватывает такие процессы, как перевод предложения с одного естественного языка на другой, представление текста в памяти компьютера, где каждой букве ставится в соответствие числовое обозначение, переход от «человеческого» алфавита к азбуке Морзе и обратно и т. д. Система правил, позволяющая переводить сообщение из одной формы представления в другую, называется кодом.

В процессе кодирования форма представления информации, вид сообщения, количество символов, используемых для его записи, и другие характеристики могут существенно меняться. Однако, и это главное, содержание сообщения остается неизменным. Следовательно, от перекодирования не изменяется неопределенность, устраняемая сообщением у субъекта. Таким образом, кодирование изменяет качественную природу носителя информации и количественные характеристики формы представления сообщения, но не изменяет количество и качество информационного содержания сообщения. Как видно, теория кодирования, хотя и имеет определенное отношение к качественному аспекту информации, все же не выходит за пределы синтаксического уровня.

В человеческом общении особую роль играет смысл информации, то есть семантический аспект. Одна из известных семантических теорий — теория Р. Карнапа и Й. Бар-Хиллела [А11], использующая аппарат символической логики. По существу, каждому предложению, выражающему законченную мысль, ставится в соответствие его вероятность (мера истинности ). Когда из более простых суждений образуются более сложные, вероятность последнего вычисляется по определенным правилам исходя из вероятностей исходных суждений. Таким образом, теория Карнапа — Бар-Хиллела основывается на вероятностной логике .

Допустим, имеется начальное достоверное знание о мире , и пусть — гипотеза. Методы вероятностной логики позволяют вычислить степень новизны гипотезы по сравнению с начальным знанием — . Степень новизны тем больше, чем меньше данная гипотеза следует из установленных фактов. Очевидно, если сбъекту будет сообщена новая информация, никак не следующая из имеющегося у него запаса знаний, то субъект получит большое количество информации. Наоборот, если то, что субъекту сообщено, и без того следует из известных фактов, то никакой новой информации субъект не получает. На основании этого в теории Карнапа — Бар-Хиллела степень новизны сообщения и считается количеством семантической информации.

С точки зрения данной семантической теории высказывание «На Марсе есть жизнь» содержит немалое количество информации, ибо эта гипотеза не подтверждена имеющимися экспериментальными данными. В то же время высказывание «На Земле есть жизнь» оказывается лишенным семантической информации, ибо это достоверное знание. Хотя положение, лежащее в основе теории, согласуется со здравым смыслом, последовательное проведение такой точки зрения, очевидно, должно приводить к неадекватностям.

Другой подход к формализации семантического аспекта был предложен Ю. А. Шрейдером. В его модели информацией обладают не только гипотезы, но вообще любые сведения, которые изменяют запас знаний (тезаурус) приемника информации. В общем случае семантический аспект выражает отношение между информацией как компонентом отражения и отражаемым объектом, который играет роль передатчика информации. В модели Ю. А. Шрейдера количество семантической информации, содержащееся, например, в каком-либо тексте, измеряется степенью изменения тезауруса под воздействием этого текста. Это изменение может быть определенным способом измерено количественно. При чтении школьного учебника тезаурус школьника существенно расширяется, — ученик получает новую информацию. Тезаурус же академика при чтении того же учебника не изменяется, он не получает семантической информации, не изменяет запаса знаний.

В любом случае учет семантического аспекта требует рассмотрения отношения двух сторон: информации и воспринимающего субъекта, так как одна и та же информация для двух разных людей может обладать различным смыслом. Синтаксический аспект информации требует рассмотрения лишь одной стороны, то есть самой информации. Рассмотрим теперь еще одно отношение, трехстороннее — между информацией, субъектом и целью, которую ставит перед собой субъект. Это отношение соответствует высшему, прагматическому аспекту.

Одним из наиболее важных прагматических свойств информации является ценность . Ценность информации вначале была определена с помощью теоретико-вероятностного подхода (А. А. Харкевич). А именно, если до получения сообщения вероятность достижения цели субъектом была , а после его получения стала , то ценность полученной информации (или прагматическое количество информации ) определяется через приращение этой вероятности. Существуют и другие подходы к определению ценности информации, среди которых особое место занимают теоретико-игровые модели.

Важно отметить, что ценность одного и того же сообщения существенно зависит как от субъекта, так и от поставленной цели. Вне связи с целью прагматический аспект информации вообще теряет смысл. Понятие цели обычно характеризует человеческую деятельность, а также может быть применено к животному миру и кибернетичнским устройствам. В неживой природе нет никаких целей, а значит и отсутствует такое свойство информации, как ее ценность.

Учет прагматического аспекта приводит к выводу, что иногда следует рассматривать отрицательные количества информации. Пусть, например, ставится цель: запуск аэростата. Для этого необходимо знать направление ветра. Допустим, нам сообщили, что дует северо-западный ветер. Безусловно, это сообщение уменьшает нашу неопределенность и приближает к достижению цели. Допустим теперь, что сразу же после первого собщения приходит опровержение: дует юго-восточный ветер. Если применить меру Шеннона, то оба сообщения несут одинаковое положительное количество информации. Но с точки зрения прагматической второе сообщение возвращает нас к состоянию первоначальной неопределенности, так как мы уже не знаем, какому из сообщений верить. Наконец, чья-то намеренная дезинформация (которая по Шеннону также доолжна рассматриваться как положительное количество информации) уменьшает наши шансы на достижение цели и потому имеет отрицательную ценность.

Из изложеного можно сделать вывод, что развитие учений об информации происходит одновременно во многих направлениях. Каждое направление фиксирует определенную сторону понятия информации и имеет свою область применимости. При выходе за границы этой области эффективность применения того или иного подхода резко падает и может даже привести к ошибочным выводам. Наилучшего, универсального определения среди перечисленных (и многих других) формальных математических определений информации нет.