Реферат: Основные способы обработки большого количества текстовой информации

ВВЕДЕНИЕ.. 13

1. Теоретическая часть. 13

1.1. Сжатие числовых данных.. 13

1.2. Сжатие словарей.. 13

1.3. Сжатие специальных текстов.. 14

1.4. Сжатие структурированных данных.. 15

1.5. Сжатие текстовой информации общего вида.. 15

1.5.1. Адаптивные алгоритмы ... 16

1.5.2. Статистические алгоритмы. 16

1.5.2.1. Кодирование фрагментов фиксированной длины... 16

1.5.2.2. Кодирование фрагментов переменной длины... 17

Выводы по части 3. 17

ПРИЛОЖЕНИЕ 1. Методы сжатия данных. 18

Метод Шеннона-Фано.. 18

Метод Хаффмена.. 18

Заключение. 20

Список литературы.. 20

Введение

Настоящий реферат состоит из трех самостоятельных частей, в которых излагаются три практические задачи современной информатики – адресация элементов данных линейного списка, автокоррекция естественно языковых текстов, сжатие данных.

Они призваны, с одной стороны, для ознакомления с некоторыми практическими задачами информатики, а с другой – закрепить навыки прикладного программирования и составления блок-схем.

Первая задача нашла свое применение в таких программных продуктах, как системы управления базами данных, операционные системы (организация поисковых операций в системных данных), компиляторы (работа с таблицами идентификаторов) и многих других. Алгоритмы адресации имеют универсальный характер и используются практически во всех задачах, в которых ведется организация и поиск информации в одномерных массивах, независимо от места ее нахождения – основная память или внешняя.

Вторая задача носит более частный характер, а изложенные методы используются при проверке орфографии в текстовых и табличных процессорах, издательских системах, а также как средство верификации результатов работы сканера – после распознавания текста для устранения возможных ошибок выполняется его орфографический анализ.

Проблема сжатия данных решается в современных архиваторах. Они, как правило, используют комбинацию методов, изложенных в третьей части.

Задачи программируются на языке программирования, который изучается в курсе «Алгоритмические языки и программирование», и, тем самым, закрепляют навыки, полученные в этой дисциплине. Кроме этого, требование подготовки блок-схем средствами WinWord позволяет углубить знания, связанные, с одной стороны, с логическим проектированием алгоритма, а с другой – с правилами начертания блок-схем.

Запрограммированные и отлаженные задачи должным образом оформляются, что также способствует умению правильно и аккуратно закреплять результат работы на бумажном носителе информации.

ЧАСТЬ 1. МЕТОДЫ АДРЕСАЦИИ

ВВЕДЕНИЕ

Основную проблему при адресации элементов списков можно сформулиро­вать следующим образом: как по первичному ключу определить местоположение элемента с данным ключом (задача поиска)? Существует несколько различных спосо­бов адресации. Они рассматриваются далее.

Иногда бывает необходимо объединить несколько полей, чтобы образовать уникальный ключ, называемый в этом случае сцепленным ключом: например, ключ, идентифициру­ющий студента в институте, является комбинацией номера группы, фамилии, имени и отчества студента (есть случаи, когда в од­ной группе учатся студенты с одинаковыми фамилиями и именами).

Кроме простого и сцепленного, ключ может быть первичным – определять максимум один элемент в списке или вторичным – определять множество (в общем случае не одноэлементное) элементов в списке. Например, фамилия студента в учебной группе, как правило, является первичным ключом, а пол студента – вторичный ключ, поскольку одному значению этого ключа (мужской или женский) соответствует, в общем случае, группа студентов.

1. Теоретическая часть

1.1. Последовательное сканирование списка