bot_recognizer: Детектор веб-ботов

• Загрузка "начальных" описаний ботов из текстового файла (образец включен в дистрибутив);
• Импорт начальных описаний из текст-файла в SQL-базу, для дальнейшего использования хранилища в БД;
• Импорт дополнительных описаний из внешних источников в интернете или из сохраненых файлов; в настоящее время поддерживается только формат файлов с сайта iplists.com (см.ссылку в конце документа);
• Опознание бота по IP адресу и/или по строке user-agent. В случае использования метода Dispatch(), вызывается соответствующая данному боту функция. "Диспатчинг" может производиться как вызов уникальной функция для любого бота, так и единых функций для ботов одного типа (например, для индексирующих - вызов функции 1, для спам-ботов - функции 2, для проверяющих уникальность контента - 3 и т.д.
  Для ботов, зарегистрированных как "зловредные", можно задать единый общий обработчик.
  Функция Dispatch() может срабатывать только в указанный интервал времени суток.
• Отладка : установка "псевдо"-IP адреса и строки агента, для проверки работы Ваших функций в случае захода на страницу данного бота.

Установка на сайт

• Поместите модуль bot_recognizer.php и файл "bot-defs.txt" в папку на сайте (если ZEND Framework не используется, скопируйте также модуль as_dbutils.php) .
• Вручную отредактируйте по мере надобности файл описаний "bot-defs.txt" .
• Если планируется использование SQL БД как хранилища описаний, выполнить однократно скрипт импорта import-botdefs.php, предварительно поправив в нем параметры доступа к Вашей БД. Этим Вы занесете в БД начальный список ботов из файла "bot-defs.txt". При этом таблица описаний будет (пере)создана , так что этот скрипт может быть перезапущен заново, если Вы внесли новые исправления в bot-defs.txt и хотите загрузить их в базу.

Простые примеры использования

# Используем Dispath() для авто-срабатывания на бота
require_once('bot_recognizer.php');

$botrec = new CBotRecognizer();
$botrec->RegisterActionForBots('MicrosoftBots','msn');
$botrec->RegisterActionForBots('GoogleBots','google');
$botrec->Dispatch();

echo "Hello, dear Human !"; // отображается если ботов не было детектировано
#...

function MicrosoftBots() {
  die("This text is shown for Microsoft spiders (msn) !");
}
function GoogleBots() {
  die("This text is shown for Google bots");
}

# Используем GetBotId() и обрабатываем ИД обнаруженного бота сами:
require_once('bot_recognizer.php');

$botrec = new CBotRecognizer();
$botid = $botrec->GetBotId();

if($botrec->IsMaliciousBot()) die("You are a malicious bot. Get lost !");

switch($botid) {
  case 'goolge' : case 'msn' :
      echo "This is Microsoft or Google bot. Let them in...";
      break;
  case CBotRecognizer::UNDEFINED_BOT:
      die("some undefined bot detected !");
      break;
  case 0:
     echo "Hello, dear Human !"; // this text is shown only if none of MicrosoftBots and GoogleBots called.
     break;
  default: # all other detected bots...
     echo "Bot $botid detected, no particular action for it !";
     break;
}

Использование класса CBotRecognizer

1. короткое имя (ИД) бота (оно будет возвращено методом GetBotId(), будем называть его ИД бота
2. начальный IP адрес,
3. конечный IP адрес,
4. подстрока, идентифицирующая данный бот в случае обнаружения в user-agent
5. необязательный параметр (bot type) - тип бота
6. необязательный параметр (malicious) - признак "зловредности" данного бота

msn|65.55.211.113|65.55.211.119|msnbot
msn|65.55.232.22|65.55.232.22|msnbot
google|66.249.71.22|66.249.71.139|Googlebot

alexa|67.202.54.191|67.202.54.191|ia_archiver
yahoo|72.30.142.240|72.30.142.240|Yahoo!
webalta|76.73.62.242|76.73.62.242|webalta crawler

# some malicious bots from kloth.net, "1" in 5-th field means "malicious bot"
rdprm.gouv.qc.ca|207.96.148.8|207.96.148.8||1
easydl|76.10.155.74|76.10.155.74|EasyDL|1

require_once('as_dbutils.php'); // database access wrapper
require_once('bot_recognizer.php');

$mydb = new CDbEngine(DBTYPE_MYSQL,'localhost','user','password','mydatabase');
$botrec = new CBotRecognizer(array('dbobject'=>$mydb));
#...
$botrec->Dispatch();

require_once('Zend/Db.php');
require_once('Zend/Db/Table.php');
require_once('Zend/Db/Adapter/Pdo/Mysql.php');

require_once('bot_recognizer.php');

# create Zend db adapter object...
$mydb = new Zend_Db_Adapter_Pdo_Mysql(
  array( 'host'=> 'localhost',
         'username' => 'user',
         'password' => 'password',
         'dbname'   => 'mydatabase'));

Zend_Db_Table::setDefaultAdapter($dbAdapter);

# the rest is identical:
$botrec = new CBotRecognizer(array('dbobject'=>$mydb));
#...
$botrec->Dispatch();

1. Вызовом метода CBotRecognizer::CreateBotDefTable(); в этом случае создается пустая таблица [prefix]bot_definitions.
   (Внимание: если таблица с таким же именем уже была в базе, она будет стерта, так что проверьте ваши таблицы на несовпадение имени, и используйте подходящий префикс имени таблицы !)
2. Вызовом CBotRecognizer::LoadBotDefinitionsFile('',true) : этот метод (пере)создает чистую таблицу (вызвав CreateBotDefTable()) и грузит в нее начальные описания из файла bot-defs.txt . Возможно, перед этим вы захотите добавить в файл свои описания ботов, чтобы они сразу попали в базу.

Список методов класса

# Фрагмент файла из google.txt file, загруженного с www.iplists.com:
# UA "Mediapartners-Google/2.1"
# UA "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
# UA "gsa-crawler (Enterprise; S4-E9LJ2B82FJJAA; me@mycompany.com)"
209.185.108
209.185.253
209.85.238
209.85.238.11
209.85.238.4
...

Вспомогательные функции

Ссылки

• iplists.com "IP Addresses of Search Engine Spiders" сборник текстовых файлов списков IP адресов и строк user-agent нескольких общеизвестных ботов.
• Полезная статья на spanishseo.org о способах распознавания ботов, включая "злобные". Описывет нетривиальные методы обнаружения типа reverce и forward DNS лукапов.
• Список "плохих" ботов на kloth.net. Пара адресов взята оттуда в файл bot-defs.txt как образцы "зловредных" (malicious) ботов (хотя зловредность их выражается только в том, что они индексируют не используя файл robots.txt)

История изменений

1.00.001 (02.10.2009)

• Первая публикация