Учебное пособие: Расчет информационных характеристик дискретного канала

Нахождение ОНК

Критерий Фано однозначного декодирования ОНК: ни одно слово ОНК не является началом другого слова ОНК. Это ещё называется свойством префиксности.

Критерий Фано позволяет однозначно декодировать сжатое сообщение S_ОНК . Сообщение в ОНК будет выглядеть:

S_ОНК =111101100101010111111011010110010011000110010011000010000011001010010010011010111100010001100000

Характеристики ОНК

1. Средняя длина ОНК

L_cp.онк = 4.23 [бит]

2. Энтропия ОНК

H(A)= 1,18 [бит/символ]

3. Максимальная энтропия

H_max = log 17= 4,08 [бит/символ]

4. Относительная энтропия

5. Информационная избыточность

6. Абсолютная недогруженость

7. Коэффициент сжатия

К_с = 1- L_cp.онк / L_РДК = 0,15 = 15 %

8. Коэффициент эффективности К_э

К_э =Н/ L_cp.онк = 0,27

Эффективность ОНК тем выше, чем больше средняя длина ОНК стремится к энтропии.

6.3 Оптимальный неравномерный ОНК Хаффмана, алгоритм расчета ОНК, средняя длина, энтропия, коэффициент сжатия, коэффициент эффективности, сообщение в ОНК, КБД

Расчет ОНК Хаффмена

При расчёте оптимального неравномерного кода Хаффмена нам потребуются вероятности появления символов в нашем сообщении. Они у нас уже рассчитаны и выстроены в порядке убывания.

Сам оптимальный неравномерный код Хаффмена мы будем вычислять при помощи алгоритма Хаффмена:

Шаг 1. "Склеиваются" две самых маленьких вероятности.

Шаг 2. В усечённом алфавите снова "склеивают" две самых маленьких вероятности.