Курсовая работа: Расчет оптимального кода по методике Шеннона Фано

H = log₂ m

Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений k на среднюю энтропию H, приходящуюся на одно сообщение:

I = k*H бит

Для случаев равновероятных и взаимонезависимых символов первичного алфавита количество информации в k сообщениях алфавита m равно:

I = k*log₂ m бит

Для неравновероятных алфавитов энтропия на символ алфавита:

m m

H =∑ p_i *log₂ (1/2p_i )=-∑p_i *log₂ p_i бит/символ

i=1 i=1

А количество информации в сообщении, составленном из k неравновероятных символов,

m

I = -k*∑ p_i *log₂ p_i бит

i=1

ВЫЧИСЛЕНИЕ СКОРОСТИ ПЕРЕДАЧИ ИНФОРМАЦИИ И ПРОПУСКНОЙ СПОСОБНОСТИ КАНАЛОВ СВЯЗИ

В условиях отсутствия помех скорость передачи информации определяется количеством информации, переносимым символом сообщения в единицу времени, и равна

C = n*H,

где n - количество символов, вырабатываемых источником сообщений за единицу времени; H - энтропия (неопределенность), снимаемая при получении одного символа сообщений, вырабатываемых данным источником.

Скорость передачи информации также может быть представлена как

бит/сек,

где тау - время передачи одного двоичного символа.

Для сообщений, составленных из равновероятных взаимонезависимых символов равной длительности, скорость передачи информации:

C=(1/τ)*log₂ m бит/сек

В случае неравновероятных символов равной длительности:

m

C =(1/τ)*∑p_i *log₂ p_i бит/сек

i=1

В случае неравновероятных и взаимонезависимых символов разной длительности:

Пропускная способность (или емкость канала связи) – есть максимальная скорость передачи информации по данному каналу связи. Под каналом связи подразумевается совокупность средств, предназначенных для передачи информации от данного источника сообщений к адресату. Выражение для пропускной способности отличается тем, что пропускную способность характеризует максимальная энтропия:

С_макс = бит/сек