Сканеры, также известные как веб-пауки или веб-роботы, играют жизненно важную роль в индексировании и сборе информации с веб-сайтов. Однако бывают случаи, когда вам может потребоваться идентифицировать и различать пользователей-людей и автоматизированных ботов. В этой статье мы рассмотрим различные методы обнаружения сканеров с помощью PHP, а также приведем примеры кода, которые помогут веб-разработчикам реализовать эффективные механизмы обнаружения сканеров.

1. Строка пользовательского агента.
   Одним из распространенных подходов к идентификации сканеров является анализ строки пользовательского агента, отправленной браузером клиента. Большинство сканеров устанавливают отдельную строку User Agent, что позволяет отличать их от обычных пользователей. Вот пример того, как можно извлечь и проанализировать строку User Agent в PHP:

$userAgent = $_SERVER['HTTP_USER_AGENT'];
if (strpos($userAgent, 'Googlebot') !== false) {
    // Code to handle Googlebot
} elseif (strpos($userAgent, 'Bingbot') !== false) {
    // Code to handle Bingbot
} else {
    // Code to handle regular user
}

1. IP-адрес.
   Другой метод предполагает проверку IP-адреса входящего запроса. Некоторые сканеры имеют хорошо известные диапазоны IP-адресов, которые можно использовать для их идентификации. Вот пример того, как можно сопоставить IP-адрес со списком известных IP-адресов сканера:

$crawlerIPs = ['66.249.66.1', '207.46.13.1']; // Example crawler IP addresses
$clientIP = $_SERVER['REMOTE_ADDR'];
if (in_array($clientIP, $crawlerIPs)) {
    // Code to handle crawler IP
} else {
    // Code to handle regular user
}

1. Частота запросов.
   Сканеры обычно делают частые запросы в течение короткого промежутка времени. Отслеживая частоту запросов, вы можете выявить подозрительно высокий трафик, указывающий на наличие сканера. Вот пример того, как можно реализовать базовую проверку частоты запросов:

$requestsPerMinute = 100; // Maximum requests allowed per minute
// Code to track and store request timestamps
if (count($storedRequestTimestamps) > $requestsPerMinute) {
    // Code to handle crawler-like behavior
} else {
    // Code to handle regular user
}

1. Выполнение JavaScript:
   Многие сканеры не выполняют JavaScript, поскольку их в первую очередь интересует необработанный HTML-контент. Используя методы на основе JavaScript, такие как выполнение фрагментов кода или проверка конкретных изменений DOM, вы можете определить, поддерживает ли клиент JavaScript, и, таким образом, отличить сканеров от пользователей-людей.

$isJavaScriptEnabled = false; // Assume JavaScript is disabled
// Code to check if JavaScript is enabled
if ($isJavaScriptEnabled) {
    // Code to handle JavaScript-enabled client
} else {
    // Code to handle crawler or JavaScript-disabled client
}

Реализация механизмов обнаружения сканеров в PHP может помочь вам отличить пользователей-людей от автоматических ботов, что позволит вам соответствующим образом адаптировать поведение вашего веб-сайта. Используя такие методы, как анализ строк пользовательского агента, сопоставление IP-адресов, мониторинг частоты запросов и проверки выполнения JavaScript, вы можете улучшить взаимодействие с пользователем, повысить безопасность и оптимизировать производительность своего веб-сайта.

Не забудьте выбрать подходящую комбинацию методов в зависимости от ваших конкретных требований и характера сканеров, которые вы хотите обнаружить.