Реферат: Информационные характеристики систем передачи сообщений

Информационные характеристики дискретных сообщений. Краткие теоретические сведения.

Системы передачи дискретной информации – системы, в которых реализации сообщений представляют собой последовательности символов алфавита источника. Если m – объем алфавита источника дискретных сообщений, то совокупность элементарных сообщений (символов) - алфавит источника. Априорная вероятность появления символа при независимость его от предыдущих – .

В общем случае априорная вероятность появления будет условной:

, где - символы, сформированные источником до символа . Количество информации, которое несет символ, определяется формулой:.

Масштабный коэффициент зависит от выбора единицы измерения количества информации. Если единица количества информации выбирается двоичной, то и соответственно (бит)

Основные информационные свойства дискретных сообщений:

1.Свойство аддитивность:

,

где q – количество символов в сообщении,

а принимает одно из значений в пределах от 1 до m.

2. Среднее количество информации, приходящейся на один символ источника сообщений, при условном характере априорной вероятности:

3. Среднее количество информации, приходящейся на один символ источника сообщений, при зависимости вероятности появления очередного символа только от вероятности появления предыдущего символа:

4. Среднее количество информации, приходящейся на один символ, при независимости символов источника сообщений:

является определением энтропии источника дискретных сообщений.

5. Максимальная энтропия источника имеет место при независимости и равновероятности символов сообщения ():

6. Коэффициент избыточности:

,

где и – относительная скорость передачи информации, характеризует возможность оптимизации скорости передаваемой информации.

Устранение избыточности позволяет сократить объем сообщения, а следовательно, повысить скорость передачи информации.

В канале с помехой передаваемая информация частично искажается.

Рис. 1

Как показано на рис. 1, передаваемой сообщение под влиянием помехи n(t) на выходе канала связи преобразуется в сообщение . Если дискретный стационарный канал без памяти, то и длительности символов на выходе и входе канала одинаковы. Тогда скорость передачи информации как среднее количество информации, получаемое в единицу времени, определяется выражением:

,

где – частота посылки символов, а – среднее количество взаимной информации в множестве символов относительно множества символов :

--> ЧИТАТЬ ПОЛНОСТЬЮ <--