Фильтры ботов

В настройках TDS можно включить несколько механизмов определения бота: по сигнатуре user-agent'а, пробить по базе ip, сигнатур, хосту, и просто проверять наличие user-agent'а.

User Agent

Проверка по внутренней базе сигнатур. По ней можно определить поисковых ботов, краулеров сервисов аналитики, парсеров.

IP

Проверка по базе ip-адресов поисковых ботов. Вы можете расширить её, создав дополнительный список.

Пустой UserAgent

Считать ботом всех, у кого пустой user-agent.

Действие на ботами

До версии 6.0 нельзя регулировать действие над ботами. Все они получают страницу ошибки «404 Not Found». В версиях 6.0 и старше действие для ботов выставляется в настройках группы.

Создание дополнительного списка

В директории /var/bots создайте файл my.ip.dat (в версии KeitaroTDS 6.0 — bots.additional.dat). Файл должен содержать список ip или CIDR, по одному значению в каждой строчке.

Пример содержимого:

11.22.112.22
1078221315
192.168.1.0/24

Другие виды записи интервалов ip не поддерживаются.