Реферат: Информация: понятия, виды, получение, измерение и проблема обучения

i=1

Информация в одном таком сообщении равна

n

I=log₂ p=ln p / ln 2 = ln ( N! / Õ m_i !)/ln 2 .

i=1

Используя формулу Стирлинга (достаточно точна, например, при N>100) - N!» (N/e)^N , а точнее, её следствие - ln N! » N(ln N — 1) получаем (в битах):

n n

I » (N ln N — å m_i ln m_i ) / ln 2=— (N / ln 2) å p_i ln p_i .

i=1 i=1

Пример. Пусть рассматривается алфавит из двух символов русского языка - “к” и “а”. Относительные частоты встречаемости этих букв в частотном словаре русского языка равны соответственно p₁ =0.028, p₂ =0.062. Возьмем произвольное слово p длины N из k букв “к” и m (k+m=N) букв “а” над этим алфавитом. Число всех таких возможных слов, как это следует из комбинаторики, равно n=N!/(k! m!). Оценим количество информации в таком слове: I=log₂ n=ln n / ln2=log₂ e [ln N! — ln k! — ln m!]. Воспользовавшись следствием приведённой выше формулой Стирлинга получаем оценку количества информации (в битах) на 1 символ любого слова:

I₁ =I/N» (log₂ e/N)[(k+m)( ln N —1) — k(ln k—1) — m(ln m —1)]=

=(log₂ e/N)[k ln(N/k) — m ln(N/m)]=

=— log₂ e[(k/N) ln(k/N) + (m/N) ln(m/N)]£

£ —log₂ e [p₁ ln p₁ +p₂ ln p₂ ]=—log₂ e[0.028 ln0.028+0.062 ln0.062]» 0.235.

Пример. В сообщении 4 буквы “a”, 2 буквы “б”, 1 буква “и”, 6 букв “р”. Определим количество информации в одном таком (из всех возможных) сообщений. Число N различных возможных сообщений длиной в 13 букв будет равно величине: N=13!/(4!´ 2!´ 1!´ 6!)=180180. Количество информации I в одном сообщении будет равно величине: I=log₂ (N)=log₂ 180180» 17.5 (бит).

Если k- коэфф ициент Больцмана, известный в физике как k=1. 38´ 1 0^-16 эрг/град, то выражение

n S = —k å p_i ln p_i i=1в термодинамике извес тно как этропия или мера хаоса, беспорядка в системе. Сравнивая выражения I и S видим, что I можно понимать как информационную энтропию (энтропию из-за нехватки информации о/в системе).

Нулевой энтропии соответствует максимальная информация. Основное соотношение межд у энтропией и информацией:

I+S(log₂ e)/k=const

или в дифференциальной форме

dI/dt= —((log₂ e)/k)dS/dt.

Основными положительными сторонами формулы Шеннона является её отвлечённость от семантических и качественных, индивидуальных свойств системы, а также то, что в отличие от формулы Хартли она учитывает различность, разновероятность состояний - формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу удобной для практических вычислений. Основные отрицательные стороны формулы Шеннона: она не различает состояния (с одинаковой вероятностью достижения, например), не может оценивать состояния сложных и открытых систем и применима лишь для замкнутых систем, отвлекаясь от смысла информации.

Увеличение (уменьшение) меры Шеннона свидетельствует об уменьшении (увеличении) энтропии (организованности) системы. При этом энтропия может являться мерой дезорганизации систем от полного хаоса (S=S^max ) и полной информационной неопределённости (I=I^min ) до полного порядка (S=S^min ) и полной информационной определённости (I=I^max ) в системе.

Пример. Чем ближе движущийся объект к нам, тем полнее информация обрабатываемая нашими органами чувств, тем чётче и более структурирован (упорядочен) объект. Чем больше информации мы имеем о компьютерной технике, тем меньше психологический барьер перед ним (согласно основному соотношению между энтропией и информацией).

3. Термодинамическая мера. Информационно-термодинамический подход связывает величину энтропии системы с недостатком информации о её внутренней структуре (не восполняемым принципиально, а не нерегистрируемым). При этом число состояний определяет, по существу, степень неполноты наших сведений о системе.

Пусть дана термодинамическая система (процесс) S, а Н₀ , Н₁ - термодинамические энтропии системы S в начальном (равновесном) и конечном состояниях термодинамического процесса, соответственно. Тогда термодинамическая мера информации (негэнтропия) определяется формулой:

Н(Н₀ ,Н₁ )=Н₀ — Н₁ .

Эта формула универсальна для любых термодинамических систем. Уменьшение Н(Н₀ ,Н₁ ) свидетельствует о приближении термодинамической системы S к состоянии статического равновесия (при данных доступных ей ресурсах), а увеличение - об удалении.

Поставим некоторый вопрос о состоянии некоторой термодинамической системы. Пусть до начала процесса можно дать p₁ равновероятных ответов на этот вопрос (ни один из которых не является предпочтительным другому), а после окончания процесса - p₂ ответов. Изменение информации при этом: