Реферат: Отчёт об организационно-экономической практике ГПИ

Всего лишь несколько лет назад организации, сталкивающиеся с необходимостью работать одновременно с текстовыми и структурированными данными, были вынуждены использовать различные программные продукты для работы с ними. Текстовые данные могли храниться в файловой системе, а структурированные в БД. Такая организация приложения вызывала дополнительные затраты на разработку и администрирование ИС. При необходимости обработать комбинированный запрос приходилось параллельно запускать два различных запроса для поиска текста и информации из БД, а затем объединять (или пересекать) результаты, что не самым лучшим образом сказывалось на эффективности работы системы в целом. Различное ПО, используемое в рамках одной системы, существенно понижает ее устойчивость и усложняют администрирование. Целостность данных и транзакции не поддерживаются, так как различные системы “не понимают” друг друга. Безусловно, эти проблемы подтолкнули ведущие компании, выпускающие СУБД к интегрированию средств работы с текстовыми неструктурированными ресурсами с традиционными возможностями СУБД.

В настоящее время создан ряд программных продуктов, в той или иной степени удовлетворяющих вышеперечисленным требованиям. Одним из наиболее удачных решений можно назвать Oracle ConText Cartridge (OCC) компании Oracle.

OCC – плюсы и минусы

Плюсы

Тесная интеграция с СУБД

OCC обеспечивает высокую масштабируемость, устойчивость и легкость управления, что и следует ожидать от промышленной БД. Поддерживается многопроцессорная архитектура и распределенная обработка запросов.

Обработка текстовых запросов через SQL

В то время как отдельные продукты для работы с текстами вынуждают разработчиков использовать специализированные средства разработки, ConText поддерживает стандартный SQL, что позволяет использовать стандартные приемы при проектировании ИС. Разработчики, создавая ИС, могут работать с любыми средствами разработки, “понимающими” SQL, такими как PowerBuilder, SQL*Windows, Visual Basic и т.д.

Мощный язык запросов

Для организации контекстного поиска в OCC используется инвертированный индекс - каждому слову ставятся в соответствие номера документов, в которых это слово содержится. Дополнительно OCC хранит информацию о положении слова в документе. Это позволяет организовать поиск по фразе или выражению, а также поиск по “близости” слов в тексте.

OCC позволяет реализовать

· Точный поиск по слову/фразе

· Поиск по шаблону

· Поиск с учетом “весов”

· Поиск с учетом “близости”

· Поддержка тезаурусов

· Ранжирование документов по релевантности

· Нечеткий поиск

· Булева логика

· Стоп лист

Минусы

OCC поддерживает любой 8 битный character set, и формально позволяет работать с текстами в любых кодировках, поддерживаемых СУБД Oracle, но при этом, не обеспечивает функциональные возможности, доступные для англоязычных текстов. Частично эти возможности реализованы для французского, немецкого, итальянского, испанского и датского языков. В частности, для русскоязычных текстов не поддерживаются следующие возможности OCC:

· Stemming – расширение запроса всеми возможными словоформами

· fuzzy matching – расширение запроса словами похожими по написанию, что позволяет уменьшить вероятность ошибок, возникающих при ошибках сканирования

· Soundex – расширение индекса словами созвучными с встречаемыми в индексируемом тексте.

Это связано с зависимостью реализации этих возможностей от морфологии, лексики, семантики и фонетики языка.

Помимо отсутствия поддержки стандартных возможностей OCC, при работе с русскими текстами возникает ряд проблем связанных с существенными различиями в структуре русского и английского языков.

Суммируя, перечислим основные сложности, с которыми встречается пользователь OCC при работе с русскими текстами:

1. Большой ра