Реферат: Информация и способы ее представления

Количество информации I, характеризующей состояние, в котором пребывает объект, можно определить, используя формулу Шеннона:

I = -(p[1]*log(p[1])+p[2]*log(p[2])+...+p[n]*log(p[n])) ,

здесь

n - число возможных состояний;

p[1],...p[n] - вероятности отдельных состояний;

log( ) - функция логарифма при основании 2.

Знак минус перед суммой позволяет получить положительное значение для I, поскольку значение log(p[i]) всегда не положительно.

Единица информации называется битом. Термин “бит” предложен как аббревиатура от английского словосочетания “Binary digiT”, которое переводится как “двоичная цифра”.

1 бит информации - количество информации, посредством которого выделяется одно из двух равновероятных состояний объекта.

Рассмотрим пример.

Пусть имеется два объекта. С каждого из них в определенные моменты времени диспетчеру передается одно из двух сообщений: включен или выключен объект. Диспетчеру известны типы сообщений, но неизвестно, когда и какое сообщение поступит.

Пусть также, объект А работает почти без перерыва, т.е. вероятность того, что он включен, очень велика (например, р_А_вкл=0,99 и р_А_выкл=0,01, а объект Б работает иначе и для него р_Б_вкл=р_Б_выкл=0,5).

Тогда, если диспетчер получает сообщение том, что А включен, он получает очень мало информации. С объектом Б дела обстоят иначе.

Подсчитаем для этого примера среднее количество информации для указанных объектов, которое получает диспетчер:

Объект А : I = -(0,99*log(0,99)+0,01*log(0,01))=0,0808.

ОбъектБ : I = -(0,50*log(0,50)+0,50*log(0,50))=1.

Итак, каждое сообщение объекта Б несет 1 бит информации.

Формула Шеннона, в принципе, может быть использована и для оценки количества информации в непрерывных величинах.

При оценке количества дискретной информации часто используется также формула Хартли:

I = log(n) ,

где n - число возможных равновероятных состояний;

log() - функция логарифма при основании 2.

Формула Хартли применяется в случае, когда вероятности состояний, в которых может находиться объект, одинаковые.

Приведем пример. Пусть объект может находиться в одном из восьми равновероятных состояний. Тогда количество информации, поступающей в сообщении о том, в каком именно он находится, будет равно

I = log(8) = 3 [бита].

Оценим количество информации в тексте.

Точно ответить на вопрос, какое количество информации содержит 1 символ в слове или тексте, достаточно сложное дело. Оно требует исследования вопроса о частотах использования символов и всякого рода сочетаний символов. Эта задача решается криптографами. Мы же упростим задачу. Допустим, что текст строится на основе 64 символов, и частота появления каждого из них одинакова, т.е. все символы равновероятны.

Тогда количество информации в одном символе будет равно

I = log(64) = 6 [бит].