Контрольная работа: Энтропия сигналов

При отсутствии помех вероятность получения правильного сигнала станет безусловной, а условная энтропия будет равна нулю.

Для исследования канала со стороны приемника (известен полученный сигнал) - условная вероятность p(x_i /y_i ) означает вероятность того, что при приеме сообщения y_i было передано сообщение x _i .

Канальная матрица имеет вид, приведенный в табл. 2.

Таблица 2

Y X	y1 y2 ym
x1 x2 xm	p(x1 /y1 ) p(x1 /y2 ) . . . p(x1 /ym ) p(x2 /y1 ) p(x2 /y2 ) . . . p(x2 /ym ) p(xm /y1 ) p(xm /y2 ) . . . p(xm /ym )

Вероятности расположения на диагонали характеризует вероятность правильной передачи, остальные – ложной. Для равновероятных сигналов на входе приемника общая условная энтропия вычисляется по формуле:

. (6)

Для не равновероятных сигналов на входе приемника общая условная энтропия вычисляется по формуле:

( 17)

Частная условная энтропия, определяющая потери, приходящиеся на долю сигнала y₁ , равна:

. (8)

Пример 1. Вычислить энтропию источника сообщений, выдающего два символа 0 и 1 с вероятностями p(0)=3/4, p()=1/4 и условными вероятностями: p(0/0)=2/3, p(/0)=1/3, p(0/1)=1, p(/1)=0 , т. е. после 1 всегда идет 0.

Решение: Для случая взаимозависимых, не равновероятных элементов энтропия равна:

Пример 2. Определить энтропию источника сообщений, если вероят-ности появлений символов на входе приемника, равны: P(b₁ )=0,1; P(b₂ )=0,3; P(b3)=0,4, P(b₄ )=0,2 а канальная матрица имеет вид:

P(a/b) =.

Сумма вероятности при одноименных условиях равна

Решение: Определим энтропию источника

.

= 0,1 × 0,99+0,3 × 0,2+0,4 × 0=0,105;

= 0,1 × 0,01+0,3 × 0,98+0,4 × 0,01+0, × 2 × 0,01=0,301;