Контрольная работа: Энтропия сигналов

Источник сообщений X - вырабатывает сообщения, элементами которого являются символы алфавита источника {x₁ ,x₂ ,...,x_m } , вероятности появления на выходе которых равны p(x₁ ), p(x₂ ), ..., p(x_m ) , при этом:

Энтропия источника представляет собой неопределенность появления на выходе источника сообщений символа первичного алфавита и определяется соотношением:

()

Приемник сообщений Y - принимает сообщения, элементами которого являются символы алфавита приемника {y₁ ,y₂ ,...,y_m } , вероятности появления на входе которых равны p(y₁ ), p(y₂ ),..., p(y_m ), при этом:

Энтропия приемника представляет собой неопределенность появления на входе приемника сообщений символа после его появления на выходе источника и определяется соотношением:

(2)

Если в канале связи отсутствуют потери информации (нет помех, ис-кажений и т. д.), то символу x_i соответствует символ y_i . В противном случае x_i может быть принят как любой из возможных y₁ ,y₂ ,...,y_m , с соответствующими вероятностями.

При отсутствии потерь: H(X) = H(Y). При наличии помех они уничто-жают часть информации. При этом потери информации можно определить через частные и общую условную энтропию.

Вычисление общей условной энтропии удобно производить с помощью канальных матриц ( матрицей переходных состояний).

Потери информации в канале можно оценивать со стороны источника или приемника сообщений.

Рассмотрим порядок определения потерь со стороны источника (известен передаваемый сигнал). При этом, условная вероятность p(y_j /x_i ) означает вероятность того, что при передаче сообщения x_i получено сообщение y_j . Канальная матрица имеет вид, приведенный в табл. 1.

Таблица 1

Y X	y1 y2 ym
x1 x2 xm	p(y1 /x1 ) p(y2 /x1 ) . . . p(ym /x1 ) p(y1 /x2 ) p(y2 /x2 ) . . . p(ym /x2 ) p(y1 /xm ) p(y2 /xm ) . . . p(ym /xm )

При этом:

.

Вероятности, расположенные на диагонали характеризует вероятность правильного приема, остальные – ложного, чем они расположены дальше от диагонали, тем они меньше. При отсутствии помех в канале связи элементы матрицы, расположенные по диагонали, равны единице, а все остальные равны нулю. Канальные матрицы всегда квадратные, т. к. количество передаваемых сигналов, равно количеству принятых, хотя вероятность прохождения отдельных сигналов может быть равна нулю.

Потери информации, вызванные действием помех, определяются с помощью условной энтропии. Для равновероятных сигналов на выходе источника общая условная энтропия вычисляется по формуле:

. (3)

Для не равновероятных сигналов на выходе источника общая условная энтропия вычисляется по формуле:

(4)

Частная условная энтропия определяет потери информации, приходящиеся на долю какого – либо конкретного сигнала (например, потери для сигнала x₁ )