Курсовая работа: Расчет информационных характеристик источников сообщений сигналов и кодов

Определим энтропию заданного распределения. Для нахождении энтропии данного ансамбля воспользуемся формулой (1.4):

.

Подставляя в полученную ранее формулу, получим

.

Ответ : пропускная способность канала С = 18184(бит/с) ; скорость передачи информации V^, = 5546,12 .

3. Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование

3.1 Задача № 3.24

Закодировать двоичным кодом Фано ансамбль сообщений

А1	А2	А3	А4	А5	А6	А7	А8	А9	А10	А11	А12
0,088	0,065	0,035	0,062	0,06	0,059	0,097	0,3	0,068	0,044	0,054	0,122

Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Фано, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода.

Решение :

Для удобства расположим вероятности появления сообщений в порядке убывания:

А8	0,3	0
А12	0,122	10
А7	0,097	100
А1	0,088	101
А9	0,068	110
А2	0,065	1110
А4	0,062	11110
А6	0,059	111110
А11	0,054	1111110
А10	0,044	1111110
А3	0,035	11111110
А5	0,006	11111111

Выберем из ансамбля А произвольную комбинацию из пяти символов и закодируем их полученным кодом Фано:

А₉ А₃ А₅ А₇ А₄

110111111101111111110011110.

Потенциальный минимум будем искать по формуле (2.12) лекции:

;

Так как код является двоичным, тогда основание кода N = 2 . Следовательно:

.

Тогда потенциальный минимум будет равен энтропии источника:

.

Найдем энтропию источника, пользуясь мерой Шеннона:

;

Рассчитаем среднее количество символов, приходящихся на одно сообщение:

, где

М – объем алфавита кода (М = 2 );

P_i – вероятность появления события;