Учебное пособие: Расчет информационных характеристик дискретного канала

4. Аддитивность. Количество информации нескольких символов равно сумме количеств информаций каждого:

I(a_1, a_2, a₃ ) = I(a₁ ) + I(a₂ ) + I(a₃ )

Энтропия дискретного ансамбля сообщения

Энтропия – среднее количество информации на символ сообщения.

Расчёт энтропии алфавита

Для вычисления энтропии алфавита нам понадобится l_а - количество символов алфавита.

Максимальная энтропия алфавита будет равна:

H_max (А)= log l_a [бит/символ]

Причём нужно отметить, что логарифм мы берём по основанию 2.

Расчёт энтропии сообщения

Для нахождения энтропии сообщения нам требуется вычислить такое значение:

H (A) = -∑(P(a_i )*logP(a_i )) [бит/символ]

Расчёт максимальной энтропии

Максимальную энтропию считаем по формуле:

H_max (А)= log l_s [бит/символ]

Свойства энтропии:

1. Энтропия не отрицательна:

Н(A) ≥ 0

2. Энтропия равна нулю тогда и только тогда, когда вероятность символа равна 1.

Н(A) = 0 ⇔Р(a_i ) =1

3. Энтропия ограничена:

H (A) ≤ log l_s [бит/символ]

где l_s – количество символов в сообщении.

4. Максимальная энтропия равна:

H_max (А ) = log l_s [бит/символ]

Рис.4. График к свойству 4

Расчётная таблица результатов

В данную таблицу мы внесем все наши результаты расчётов и, как результат, построим график количества информации и график энтропии.