Реферат: Энтропия

0,6

0,4

0,2

0,8

Пара (α₂ ,β₂ )

0,9	0,1	0,5	0,5

(). Эти таблицы позволяют определить также и неизвестные нам вероятности р₁ (А ) и р₁ (),р₂ (А ) и р₂ () исходов А и опытов α₁ и α₂ . По формуле полной ве­роятности имеем для опыта β₁

0,4=р(В)= р₁ (А ) + р₁ ()=0,6· р₁ (А ) +0,2· р₁ ()

и для опыта β₂

0,8 = р (В)= р₂ (А ) + р₂ ()=0,9· р₂ (А )+0,5· р₂ ().

Так как р₁ ()= 1 — р₁ (А ), р₂ ()= 1 — р₂ (А ), то от­сюда получаем

р₁ (А )= р₁ ()= 0,5, р₂ (А ) = 0,75, р₂ () = 0,25.

Подсчитаем теперь энтропии Н_А (β₁ ), (в битах):

Н_А (β₁ )= -0,6• log 0,6 - 0,4 • log 0,4 0,97,

= - 0,2• log 0,2 – 0,8• log0,8 0,72

и

= - 0,9 • log 0,9 - 0,1• log 0,1 0,47,

= - 0,5 • log 0,5 - 0,5• log 0,5= 1.

Следовательно,

р₁ (А ) Н_А (β₁ )+ р₁ ()0,84,