Реферат: Теория вероятности и мат статистика

j₁=1, ..., m₁; j₂=1, ..., m₂; j_n=1, ..., m_n;

Общая структура независимых событий в композиционном пространстве имеет вид:

1-е событие -	это событие, которое происходит в 1-м вероятностном пространстве
2-е событие -	это событие, которое происходит во 2-м вероятностном пространстве
n - событие -	это событие, которое происходит в n-м вероятностном пространстве

Рассмотрим два вероятностных пространства.

I	II

Очевидно, что неопределенность испытания до испытания в первом вероятностном пространстве выше, чем во втором. Действительно, до испытания в I нельзя ни одному из событий отдать предпочтения, а во II событие E₃ происходит чаще.

Энтропия - мера неопределенности исхода испытания (до испытания).

Первым, кто функционально задал выражение для энтропии был Шеннон.

,

Для вероятностного пространства:

Энтропия задается выражением: . Если P₁=0, то P_iЧlogPi­=0.

Самим показать, что:

1. Если вероятностное пространство не имеет определенности, т.е. какое-то из P_i=1, а остальные равны 0, то энтропия равна нулю.

2. Если элементарный исход равновероятен, т.е. , то энтропия принимает максимальное значение.

0ЈP_iЈ1,

1. 

   ,

   т.о. вероятности p₁, p₂, ..., p_s обращаются в ноль, например p_i, которая равна 1. Но log1=0. Остальные числа также обращаются в 0, т.к. .

2. Докажем, что энтропия системы с конечным числом состояний достигае максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы как функцию вероятностей p₁, p₂, ..., p_s и найдем условный экстремум этой функции, при условии, что .

Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции: .

Дифференцируя по p₁, p₂, ..., p_s и приравнивая производные нулю получим систему:

i=1, ..., s

Откуда видно, что экстремум достигается при равных между собой p₁.

Т.к. , то p₁= p₂=, ..., = p_s= 1/s.

Еденицей измерения энтропии является энтропия вероятностного пространства вида:

, которая называется 1 бит.

Неопределенность исхода испытания до испытания автоматически определяет информативность исхода испытания после испытания. Поэтому в битах также измеряется информативность исхода.

Рассмотрим два вероятностных пространства: