Реферат: Математическая теория информации

МАТЕМАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ

1. Количество информации, и ее мера

На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис. 1).

Помехи

x₁ y₁

x₂ y₂

……

x_n y_n

Рис. 1. Система передачи информации

Ансамбль сообщений – множество возможных сообщений с их вероятностными характеристиками – {Х, р(х)} . При этом: Х={х₁ , х₂ ,…, х_m } – множество возможных сообщений источника; i = 1, 2,…, m , где m – объем алфавита; p(x_i ) – вероятности появления сообщений, причем p(x_i ) ³ 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице

.

Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении x_i , выбранном из ансамбля сообщений источника {Х, р(х)}. Одним из параметров, характеризующих данное сообщение, является вероятность его появления – p(x_i ) , поэтому естественно предположить, что количество информации I(x_i ) в сообщении x_i является функцией p(x_i ). Вероятность появления двух независимых сообщений x₁ и x₂ равна произведению вероятностей p(x₁ ,x₂ ) = p(x₁ ).p(x₂ ) , а содержащаяся в них информация должна обладать свойством аддитивности, т.е.:

I(x₁ , x₂ ) = I(x₁ )+I(x₂ ). (1)

Поэтому для оценки количества информации предложена логарифмическая мера:

. (2)

При этом наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю. Т. к. все логарифмы пропорциональны, то выбор основания определяет единицу информации: log_a x = log_b x/log_b a.

В зависимости от основания логарифма используют следующие единицы информации:

2 – [бит] (bynary digit – двоичная единица), используется при анализе ин-формационных процессов в ЭВМ и др. устройствах, функционирующих на основе двоичной системы счисления;

e – [нит] (natural digit – натуральная единица), используется в математических методах теории связи;

10 – [дит] (decimal digit – десятичная единица), используется при анализе процессов в приборах работающих с десятичной системой счисления.

Битом (двоичной единицей информации) – называется количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных, независимых событий.

Среднее количество информации для всей совокупности сообщений можно получить путем усреднения по всем событиям:

. (3)

Количество информации, в сообщении, состоящем из n не равновероятных его элементов равно (эта мера предложена в 1948 г. К. Шенноном):

. (4)

Для случая независимых равновероятных событий количество информации определяется (эта мера предложена в 1928 г. Р. Хартли):

. (5)

2. Свойства количества информации

1. Количество информации в сообщении обратно – пропорционально вероятности появления данного сообщения.

--> ЧИТАТЬ ПОЛНОСТЬЮ <--