В первой стадии, для каждого документа коллекции была произведена следующая предварительная обработка.

· лематизация – приведение слова к нормальной форме (проводилась с помощью парсера mystem от компании Yandex);

· удаление стоповых слов (союзы, предлоги, некоторые наречия, одиночные буквы и цифры).

В ходе эксперимента были получены следующие результаты.

COMPUTER
Балл	Количество оценок	Количество, в процентах
0–2	0	0
3–5	77	17,11
6–8	324	72,00
9–10	49	10,89
Средняя оценка	6,73

ANIMAL
Балл	Количество оценок	Количество, в процентах
0–2	0	0
3–5	6	3,16
6–8	132	69,47
9–10	52	27,37
Средняя оценка	7,87

На второй стадии, помимо предобработки, проводившейся на первой стадии, были произведены дополнительные меры. Список стоповых слов был расширен некоторыми словами, не несущими смысловой нагрузки (например: глаголы быть, мочь), не входивших в первоначальный список.

Также была отделена некоторая часть слов, согласно законам Ципфа. Для каждого документа был построен вектор статистики входящих в него слов, и убирались слова с низкой оценкой. Параметры сокращения выбирались эмпирически и составили примерно 5%. Слова с высокой оценкой не убирались, так как слова не несущие смысловой нагрузки, но часто встречающиеся в документе, в большинстве своем отделились на этапе удаления стоповых слов.

На втором этапе получены следующие результаты.

COMPUTER
Балл	Количество оценок	Количество, в процентах
0–2	0	0
3–5	64	14,22
6–8	338	75,11
9–10	48	10,67
Средняя оценка	6,8

ANIMAL
Балл	Количество оценок	Количество, в процентах
0–2	0	0
3–5	0	0
6–8	135	71,05
9–10	55	28,95
Средняя оценка	8,07

Сводные диаграммы по обоим этапам (рисунки 3.1, 3.2).

Полученные результаты показывают, что метод вполне справляется с отделением ключевых слов. Однако часто высокие позиции занимают слова, не являющиеся основными для документа.

Предобработка документов, снижение уровня «шума» в документе привела к повышению качества выделения ключевых слов.

Заключение

Законы Ципфа описывают любой текст на основе частотного анализа вхождения слов в текст. Однако этого явно недостаточно для оценки документа в коллекции. Модель TF*IDFпозволяет перейти к математической, векторной модели текста, выделить список ключевых слов.

В ходе проведенного эксперимента показана возможность применения модели на реальных примерах. Найдены некоторые эвристические приемы, позволяющие улучшить выделение ключевых слов: расширение списка стоповых слов, статистическое отделение незначащих слов.

Из преимуществ метода следует отметить высокую производительность, гибкость к данным.

Однако у этого метода есть существенный недостаток: при построении вектора не учитывается порядок слов, контекст, то есть важная семантическая составляющая текста.

Из возможных перспективных улучшений метода отметим:

· автоматизация выбора эвристик для расширения стоп-листа;

· автоматизация выбора параметра при отбрасывании не несущих смысловой нагрузки слов по законам Ципфа;

· при построении учитывать расположение слов в документе;

· объединение, разбиение текста для возможно более качественного построения векторного представления.

Библиографический список

1. Apte, C., Damerau, F.J., Weiss, S.M., Automated learning of decision rules for text categorization. ACM Transactions on Information Systems 12, 3, 233–251., 1994

2. Dagan, I., Karov, Y., Roth, D., Mistake-driven learning in text categorization. In Proceedings of the 2nd Conference on Empirical Methods in Natural Language Processing (Providence, US, 1997), pp. 55–63., 1997

3. Fuhr, N., Govert, N., Lalmas, M., and Sebastiani, F., Categorisation tool: Final prototype. Deliverable 4.3, Project LE4–8303 «EUROSEARCH», Commission of the European Communities, 1998

4. Larkey, L.S., Croft, W.B., Combining classifiers in text categorization. In Proceedings of SIGIR‑96, 19th ACM International Conference on Research and Developmentin Information Retrieval (Zurich, CH, 1996), pp. 289–297., 1996

5. Lewis, D.D., An evaluation of phrasal and clustered representations on a text categorization task. In Proceedings of SIGIR‑92, 15th ACM International Conference on Researchand Development in Information Retrieval (Kobenhavn, DK, 1992), pp. 37–50., 1992

6. Salton, G. and McGill, M.J. Introduction to modern information retrieval. McGraw-Hill, 1983.

7. T. Joachims A probabilistic analysis of the rocchio algorithm with TFIDF for text categorization In Proc. of the ICML'97, 143–151, 1997.