Ссылки о роботах

Русскоязычные сайты

Энциклопедия поисковых систем — самый информативный и посещаемый русскоязычный ресурс посвященный поисковым системам
Раздел о поисковых роботах — раздел о роботах на searchengines.ru
Файл robots.txt на Mastertalk — краткое и доходчивое описание robots.txt на mastertalk.ru
Приоритеты обработки записей в robots.txt — чем руководствуются роботы при парсинге файла robots.txt
Работа над файлом robots.txt — простая и понятная статья о работе над файлом robots.txt
Управление индексацией сайта (файл Robots.txt) — неплохая статья на одном из блогов
Robots.txt checker – плагин для Firefox, показывающий, есть ли на сайте robots.txt и закрыта ли текущая страница от индексирования
Предлагаемое расширение стандарта robots.txt — переписка Александра Мелькова и Мартина Костера от 2003 года
IP база поисковиков — сервис по бесплатному предоставлению постоянно обновляемой ip базы крупнейших англоязычных поисковиков (Google, Yahoo, MSN, Ask, etc).

Англоязычные сайты

The Web Robots Pages — оригинальный сайт о robots.txt, автор Martijn Koster
Описание файла robots.txt — в приложении к стандарту HTML 4.01 на w3c
Search Engine Watch — очень большой и информативный ресурс о поисковых системах
RoboGen — программа для визуальной генерации файла robots.txt
Проверка robots.txt — онлайн-сервис, который позволяет проверить robots.txt на отсутствие ошибок
Search Engine Spider Identification — форум о роботах поисковых систем на Webmaster World
An Extended Standard for Robot Exclusion — драфт дополнения к стандарту по robots.txt
All about robots — дополнения для Гуглбота со ссылками на все материалы.
Meta Robots Tag 101: Blocking Spiders, Cached Pages & More— подробнейшая инструкция Дэнни Салливана по мета-тегу ROBOTS, варианты его использования и дополнительные параметры, которые понимают разные поисковые системы.