Учебное пособие: Расчет информационных характеристик дискретного канала

Нам дано сообщение:

Х= "Остановите землю, я сойду"

Длина сообщения L_x =24 [символа]

Алфавит сообщения

Найдём алфавит нашего сообщения:

A={о,с,т,а,н,в,и,е,з,м,л,ю,я,с,й,д,у,_. }

Длина алфавита L_a =21 [символ]

Вероятности

На данном этапе вычисления РДК нам требуется вычислить вероят-ности появления каждого символа в алфавите сообщения. Для этого мы воспользуемся формулой:

p_i = v_i / l_s

где v_i - количество раз, которое символ встречается в сообщении.

Сумма v_i должна соответствовать длине исходного сообщения.

Таблица данных, РДК

Таким образом, наше сообщение будет выглядеть:

S_РДК =00001000110010001001001100000100111010000010000101000100101000100101011011000110100010011100001000011000001011111000010001

6.1.6 Длина сообщения

Длина сообщения, записанного в РДК равна:

l_{s рдк} = l_{s ·} l_рдк

где l_рдк = 5 бит.

Таким образом, длина сообщения:

l_{s рдк} = 24·5 = 120 бит

6.2 Оптимальный неравномерный код ОНК Шеннона-Фано, алгоритм расчета ОНК, средняя длина, энтропия, коэффициент сжатия, коэффициент эффективности, сообщение в ОНК, критерий Фано, корневое бинарное дерево ОНК Шеннона-Фано

Расчёт ОНК

Оптимальный неравномерный код (ОНК) мы будем рассчитывать по методу Шеннона-Фано, который ещё называют методом бисекции.

Для вычисления ОНК вся работа разбивается на несколько этапов.

Предварительный шаг: вероятности появления символа в сообщении ранжируются по убыванию.

Шаг первый: все вероятности разбиваются на две равновероятные группы. Символам верхней секции назначим 0, символам нижней секции – 1. Первый бит ОНК вычислен.

Шаг второй: каждую группу делим на две равновероятные подгруппы. Верхним подгруппам присваивается 0, нижним – 1. и т. д.