4. Энтропия двоичного источника (K = 2) может изменяться от нуля до единицы. Действительно, энтропия системы из двух сообщений l1 и l2

(14)

Из последнего выражения видно, что энтропия равна нулю при P(l1) = 0; P(l2) =1, или P(l1) = 1; P(l2) = 0; при этом максимум энтропии будет иметь место, когда P(l1) =P(l2) =1/2 и ее максимальное значение будет равно 1 бит.

ЛИТЕРАТУРА

1. Лидовский В.И. Теория информации. - М., "Высшая школа", 2002г. – 120с.

2. Метрология и радиоизмерения в телекоммуникационных системах. Учебник для ВУЗов. / В.И. Нефедов, В.И. Халкин, Е.В. Федоров и др. – М.: Высшая школа, 2001 г. – 383с.

3. Цапенко М.П. Измерительные информационные системы. - . – М.: Энергоатом издат, 2005. - 440с.

4. Зюко А.Г., Кловский Д.Д., Назаров М.В., Финк Л.М. Теория передачи сигналов. М: Радио и связь, 2001 г. –368 с.

5. Б. Скляр. Цифровая связь. Теоретические основы и практическое применение. Изд.2-е, испр.: Пер. с англ. – М.: Издательский дом "Вильямс", 2003 г. – 1104 с.