Учебное пособие: Расчет информационных характеристик дискретного канала

Кортеж упорядоченных уникальных символов – это упорядоченная последовательность символов.

Х={х₁ , х₂ ,…, х_n } – сообщение – кортеж символов

Дискретный ансамбль сообщения (ДАС) – сообщение с вероятностями символов ДАС {Х, p(х_i ) или A, p(a_i )}

3.1 Количество информации источника сообщений

Количество информации

Количеством информации символа сообщения определяется:

I(a_i ) = - log₂ (p(a_i )) = - log(p(a_i )) [бит] (i=1,2…n)

В Шенноновской теории информации количество информации источника определяется вероятностью появления символа.

I(a_i ) = - ln(p(a_i )) [нат]

I(a_i ) = - lg(p(a_i )) [дит]

Каждый символ сообщения содержит своё количество информации.

Свойства количества информации источника сообщений

1. Количество информации неотрицательно:

I(a_i ) >= 0

2. Чем выше вероятность, тем меньшее количество информации содержит символ.

3. Если вероятность символа равна 1, то количество информации этого символа равно 0.

р(a_i ) = 1 ⇒I(a_i ) = 0

4. Аддитивность. Количество информации нескольких символов равно сумме количеств информаций каждого.

I(a_1, a_2, a₃ ) = I(a₁ ) + I(a₂ ) + I(a₃ )

Энтропия – среднее количество информации на символ сообщения (средневзвешенное).

[бит/символ]

Свойства энтропии

1. Энтропия неотрицательна: Н(А) ≥ 0

2. Энтропия равна нулю тогда и только тогда, когда вероятность символа равна 1: Н(a_i ) = 0 ⇔р(a_i ) =1

3. Энтропия ограничена: H (a_i ) ≤ log n[бит/символ]

где n – количество символов в сообщении.

4. Максимальная энтропия равна: H_max (А) = log n[бит/символ]

3.2Информационные потери

Существует два вида условной энтропии, которые определяют действия помех на дискретном канале – это частная условная энтропия (ЧУЭ) и общая условная энтропия (ОУЭ).

Частная условная энтропия источника (ЧУЭИ) сообщений отображает количество потерь информации при передаче каждого сигнала а_i :

H(В/а_i ) = − p(b_j /a_i )logp(b_j /a_i ) (i = 1,2…n) [бит/символ]