Контрольная работа: Энтропия сигналов
0,1 × 0+0,3 × 0+0,4 × 0,01+0,2 × 0,97=0,198;
Проверка:
0,105+0,301+0,396+0,198=1.
При этом энтропия источника равна:
H(A)=-(0,105 × log 0,105+0,301 × log 0,301+0,396 × log 0,396+0,198 × log 0,198)=1,856 бит / симв .
Пример 3. Определить энтропию источника и условную энтропию сообщений, передаваемых по каналу связи, и состоящих из равновероятных символов, если влияние помех в канале описывается матрицей:
.
Решение: Для равновероятных символов в сообщении энтропия источника сообщений равна:
бит/симв.
Полная условная энтропия равна:
=
бит/симв.
Пример 4. Определить энтропию приемника сообщений, если вероятности появления символов a1 , a2 и a3 на входе источника сообщений равны P(a1 )=0,5; P(a2 )=0,3 и P(a3 )=0,2, а канальная матрица имеет вид:
,
Решение: Энтропия приемника равна:
.
Вероятности появления символов на входе приемника
;
;
.
Проверка:
.
При этом:
2. ЭНТРОПИЯ ИСТОЧНИКА НЕПРЕРЫВНЫХ СООБЩЕНИЙ
ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ