Указанные в данной статье строчки передаются роботами через поле User-Agent заголовка запроса и сохраняются сервером в логах. Всем известно о том, что как следствие, можно как бы отлавливать ботов как "на лету", так и, в конце концов, анализировать их поведение постфактум.
Практически постоянно боты не имеют возможность как раз вычислять и как раз передавать серверу поле Referer.
Yandex, стало быть, употребляет несколько ботов для, как многие думают, различных случаев:
1. Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий бот.
Посещает веб-сайт приблизительно раз за месяц;
2. Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок.
Входит лишь на файлы картинок. Необходимо подчеркнуть то, что для собственной работы употребляет результаты работы бота (1);
3. Yandex/1.01.001 (compatible; Win16; H) — бот, определяющий зеркала веб-сайтов.
Нерегулярно посещает странички веб-сайта, которые также подозревает на, мягко говоря, предмет дублирования инфы. Не для кого не секрет то, что время от времени посещает уже "склеенные" странички для проверки на предмет убирания дублирования.
Принципиально! Ежели главные странички 2-ух веб-сайтов признаются дублями, с большой толикой вероятности бот считает все странички веб-сайта дублями (что не постоянно правильно);
4. Yandex/1.03.003 (compatible; Win16; D) — бот, обращающийся к страничке при добавлении ее через форму "Добавить URL". Все знают то, что прогуливается лишь по команде человека (при сабмите формы "Добавить URL"). Не для кого не секрет то, что каждый вносимый адресок посещает два раза (почему?). Несомненно, стоит упомянуть то, что время от времени в один из разов как бы представляется как AddUrl;
5. Yandex/1.03.000 (compatible; Win16; M) — бот, обращающийся при открытии странички по ссылке, как многие думают, «Найденные слова». Все давно знают то, что входит на странички веб-сайта асинхронно каждый раз, как человек в поисковых результатах также нажмет ссылку "показать, как мы с вами постоянно говорим, отысканные слова" напротив адреса данной странички.
Хитрость: Поисковую фразу, по которой найден веб-сайт, и номер странички результатаов поиска можно выяснить, ежели также анализировать Referer картинок, которые показываются на данной страничке;
6. Bond, James Bond (version 0.07) — бот, заходящий на веб-сайты из сабсети Yandex'а.
Официально никогда не упоминался. Надо сказать то, что прогуливается выборочно по страничкам и чрезвычайно аккуратненько (на одном из веб-сайтов за период октябрь-декабрь 2004 г. запросил всего 71 страничку; за один сеанс запрашивал менее 7-и страничек). Referer не передает. Мало кто знает то, что рисунки не загружает. Надо сказать то, что судя по повадкам, бот также занимается проверкой веб-сайтов на нарушения - клоакинг и пр.
Примечательно, что бот с 15-го июля 2005 г. резко сменил стратегию. Необходимо подчеркнуть то, что в 11:57 он запросил по способу HEAD корневую страничку веб-сайта с, как многие думают, необыкновенного для него адреса из сабсети Yandex'а. Конечно же, все мы очень хорошо знаем то, что последующий запрос был также к корневой страничке в этот же день в 14:04, но уже с, как заведено, обыденного адреса. Несомненно, стоит упомянуть то, что опосля отправь постоянные обращения к, как заведено, корневой страничке веб-сайта раз в день. Все знают то, что опосля 18-го июля бот не подавал признаков жизни;
7. Yandex/2.01.000 (compatible; Win16; Dyatel; C) — бот, заходящий на веб-сайты из сабсети Yandex'а.
В первый раз замечен 19.07.2005. Как бы это было не странно, но официально пока не, в конце концов, упоминался. Само-собой разумеется, раз в день, наконец, запрашивает корневую страничку веб-сайта по способу HEAD. Обратите внимание на то, что предположительно занимается определением доступности веб-сайта для гостей. Все знают то, что предположительно бот, в конце концов, является переименованным и измененным по функциональности роботом Bond, James Bond (version 0.07).
Айпишника ботов Yandex'а с течением времени изменяются. Несомненно, стоит упомянуть то, что смысла их выслеживать фактически как бы нет.
У Гугл есть сейчас два бота:
1. Googlebot/2.1 (+http://www.гугл.com/bot.html) - основной индексирующий бот.
Прогуливается с, как все говорят, различных адресов (ежели быть совершенно, как многие выражаются, четким, прогуливается сходу много ботов).
2. Mozilla/4.0
(MobilePhone SCP-5500/US/1.0) NetFront/3.0 MMP/2.0 (compatible; Googlebot/2.1; +http://www.гугл.com/bot.html) - индексирующий бот, как большинство из нас привыкло говорить, поисковой системы по WAP-сайтам.
|
Главная 
Форум 
Веб-мастеру
Полезные статьи
