Курсовая работа: Расчет информационных характеристик источников сообщений, сигналов и каналов

0,06

1101

а₁₀

0,027

1110

а₅

0,017

11110

а_{1 1}

0,014

111110

а₉

0,003

1111110

a₂

0,001

1111111

Сообщения источника располагаются в порядке не возрастания их вероятностей, делятся на две части так, чтобы суммарные вероятности сообщений в каждой части были по возможности равны. Сообщениям первой части приписывается в качестве первого символа нуль, а сообщениям второй части единица. Затем каждая из этих частей (если она содержит более одного сообщения) опять делится на две примерно равные части и в качестве второго символа для первой из них берется 0, а для второй 1. Этот процесс повторяется до тех пор, пока в каждой из полученных частей не останется по одному сообщению.

После использования полученных комбинаций символов, закодируется произвольная комбинация, состоящая из 5 символов из ансамбля {a_i }: 101011111110010011110.

Среднее количество символов, приходящихся на одно сообщение, определяется по формуле 2.9 курса лекций:

,

где m_s – количество позиций, а p_s – вероятность сообщения из ансамбля {a_i }.

Определяется минимальное среднее количество символов, приходящихся на одно сообщение, по формуле

,

где M – объем алфавита кода, равный 2, а H(U) энтропия источника.

Далее находится энтропия: