Объясните как вообще решать задачи в информатике на определение количества информации. Спасибо заранее

Объясните как вообще решать задачи в информатике на определение количества информации. Спасибо заранее
Гость
Ответ(ы) на вопрос:
Гость
Попробую объяснить. Количество информации в большинстве предлагаемых задач оценивается по способу, предложенному Р. Хартли. Если имеется некоторый алфавит из m символов (иногда говорят, такой алфавит имеет мощность m), и из этого алфавита строится последовательность длины n, то количество информации а битах, содержащейся в такой последовательность, можно найти по формуле Хартли: [latex][latex]I=m\times log_2n[/latex].[/latex] На практике потребность находить логарифм встречается нечасто, обычно в заданиях n является какой-то степенью двойки, поэтому значение логарифма равно показателю степени.  Рассмотрим несколько примеров. 1. Какое количество информации несет фраза длиной 50 символов, если алфавит содержит 64 символа? Тут n=64, m=50. По формуле Хартли: [latex]I=50\times log_264=50\times 6=300[/latex]. (бит) "Для себя" можно было решать так: 64 - это два в шестой степени, умножаем 6 на длину фразы 50, ответ 300 бит.. Задача получается устной. 2. Какова мощность алфавита, если слово длиной 10 символов несет 30 бит информации? Записываем формулу Хартли: [latex]I=m\times log_2n[/latex]. Дано: I=30, m=10. Найти n. Из приведенной формулы находим: [latex]n=2^ \frac{I}{m}=2^ \frac{30I}{10}=2^3=8[/latex] (символов) На практике: делим количество информации на количество символов в слове (фразе, сообщении) и возводим двойку в степень, равную полученному числу. 3. "Из ящика с 32 пронумерованными шарами вынули шар номер 17". Сколько информации в этом сообщении? Рассуждаем так: Шанс достать шар номер 17 равен 1 из 32 - ведь можно достать любой шар. Следовательно, сообщение о шаре №17 уменьшило неопределенность в наших знаниях по этому вопросу в 32 раза. Снова формула Хартли. n=32, m=1, найти I. Почему так? Шары - это наш алфавит, их 32. Вынутый шар - это наше слово, он один. А дальше мы уже умеем решать: 32 - это два в пятой степени, поэтому I=1x5=5 бит. 4. В коробке 5 красных карандашей, 4 зеленых, 3 синих и 4 желтых. Какое количество информации несет сообщение о том, что был вынут зеленый карандаш? Можно рассуждать так: наш алфавит - это цвета карандашей, а слово - количество карандашей. В алфавите 4 символа, т.е. два во второй степени. Вынули один карандаш, количество информации по формуле Хартли: 1х2=2 бита. Простое но абсолютно неверное решение!. Дело в том, что формула Хартли имеет свои границы применения: все символы в алфавите равноправны и шанс выбора каждого символа одинаков. В нашем случае в коробке лежат 5+4+3+4=16 карандашей, среди них 4 зеленых. Шанс достать зеленый карандаш равен 4 из 16, т.е. 1/4. Следовательно, сообщение о зеленом карандаше уменьшает неопределенность в 4 раза и вот теперь можно воспользоватся формулой Хартли при m=1 и получить ответ I=2 бита. Почему два? 4 - это два во второй степени. Общий совет по решению задач с вероятностью: находим вероятность совершения события в виде простой дроби, а потом ищем степень, в которую надо возвести двойку, чтобы получить знаменатель этой дроби.
Не нашли ответ?
Ответить на вопрос
Похожие вопросы