Департамент комп‘ютерних технологій

Кафедра інформатики

Проблеми використання роботів
в Інтернеті

Реферат з курсу
"Програмне забезпечення інтелектуальних систем"
студента ДКТ-5
Підгорного Свєтослава Викладач:
Гороховський С. С.

Київ
2011

Вступ...................................................................................................... 3

Використання роботів.......................................................................... 3

Статистичний аналіз............................................................................. 4

Підтримка.............................................................................................. 4

Дзеркала................................................................................................. 5

Пошук ресурсів..................................................................................... 6

Комбіноване використання................................................................. 7

Ціна використання та застереження................................................... 7

Ресурси мережі та завантаження серверів.......................................... 7

Оновлення............................................................................................. 8

Погані реалізації.................................................................................. 10

Ведення каталогу................................................................................ 11

Забагато матеріалу, що є забагато динамічним................................ 11

Визначення що індексувати, а що ні................................................. 11

Статистичний аналіз........................................................................... 13

Етика.................................................................................................... 13

Альтернативи для пошуку ресурсів.................................................. 15

Висновок.............................................................................................. 16

Література............................................................................................ 18

Вступ

Всесвітня павутина стала дуже популярною за останні декілька років, і є зараз основним засобом розміщення інформації в інтернет. Коли розмір WWW збільшився від декількох десятків сайтів, стало зрозуміло, що людина не в змозі самостійно переглянути таку кількість сайтів, тим паче знайти нові.

Тому почалися розробки програм, що автоматично переглядають WWW. Така програма-робот передивляється Інтернет сторінка за сторінкою, йдучи за посиланнями на інші сторінки. Роботів також називають павуками (spiders) або черв‘яками (worms), але ці назви дають хибне враження, що роботи пересуваються самі, або, що вони копіюють себе, як відомі інтернет-черви. Насправді, робот – це одна програмна система, що отримує інформацію з Інтернет сайтів використовуючи стандартні протоколи WWW.

Використання роботів

Переглядаючи Інтернет, роботи можуть виконувати такі функції:

Статистичний аналіз

Найперші роботи були створені для підрахунку кількості WWW-серверів. Сучасні роботи можуть також підраховувати іншу статистичну інформацію, як то, середню кількість документів на один сервер, пропорцію заданих типів файлів, середній розмір веб-сайту, ступень міжсполучення між сайтами.

Підтримка

Одна з основних проблем підтримки Інтернет виникає, коли перестають працювати посилання на інші сторінки. Це відбувається тоді, коли сторінка, на яку посилаються, перемістилася на іншу адресу або взагалі перестала існувати. Нажаль, натепер не існує автоматичного механізму, що повідомляв би веб-мастерів про такі зміни.

Деякі сервери, наприклад CERN HTTPD, записують у файл журналу, запити до сторінки, що не існує, з адресою сторінки, звідки йшло посилання, що дозволяє виправити ситуацію пізніше. Але це не практично, і, насправді, автори дізнаються, про неправильні посилання на своїх сторінках, коли помітять самі, або коли користувачі повідомлять їх по пошті.

--> ЧИТАТЬ ПОЛНОСТЬЮ <--