Сканирование веб-страниц, также известное как парсинг веб-страниц, – это процесс извлечения данных с веб-сайтов с помощью автоматических ботов. Хотя сканирование веб-страниц может иметь законное применение, его также можно использовать не по назначению для сбора данных или других вредоносных действий. Если вы разрабатываете приложение Laravel и хотите защитить свой веб-сайт от сканирования, эта статья предоставит вам несколько эффективных методов достижения этой цели. В этом руководстве мы рассмотрим различные методы и предоставим примеры кода, которые помогут вам предотвратить сканирование веб-страниц в вашем приложении Laravel.
Метод 1: реализация промежуточного программного обеспечения Laravel
Промежуточное программное обеспечение Laravel позволяет перехватывать входящие HTTP-запросы и добавлять пользовательскую логику. Вы можете создать промежуточное программное обеспечение, которое проверяет определенные заголовки или пользовательские агенты, обычно используемые веб-сканерами. Если запрос соответствует критериям, вы можете ответить соответствующим кодом состояния или перенаправить запрос.
// Create a new middleware class
php artisan make:middleware BlockCrawlers
// Edit the handle method in the newly created middleware
public function handle($request, Closure $next)
{
$userAgent = $request->header('User-Agent');
if (strpos($userAgent, 'bot') !== false || strpos($userAgent, 'crawler') !== false) {
return response('This page is not accessible for web crawlers.', 403);
}
return $next($request);
}
// Register the middleware in app/Http/Kernel.php
protected $middleware = [
// ...
\App\Http\Middleware\BlockCrawlers::class,
];Метод 2: использование файла robots.txt
Файл robots.txt — это стандарт, используемый веб-сайтами для взаимодействия с веб-сканерами. Указывая правила в файле robots.txt, вы можете указать веб-сканерам, какие части вашего веб-сайта следует сканировать, а какие исключить.
User-agent: *
Disallow: /admin
Disallow: /private-sectionМетод 3: использование метатегов noindex и nofollow
Вы можете использовать теги <meta>с атрибутами name="robots"и content="noindex, nofollow"для запретить поисковым роботам индексировать или переходить на страницы, к которым они применяются.
<head>
<!-- ... -->
<meta name="robots" content="noindex, nofollow">
</head>Метод 4: ограничение доступа с помощью маршрутов Laravel
Вы можете определить в своем приложении Laravel определенные маршруты, которые не должны быть доступны веб-сканерам. Группируя эти маршруты и применяя промежуточное программное обеспечение, вы можете легко ограничить доступ к конфиденциальным областям.
// Define a route group with a middleware
Route::middleware('blockCrawlers')->group(function () {
// Routes accessible only to authenticated users
Route::get('/account', 'AccountController@index');
Route::post('/account/update', 'AccountController@update');
});Используя эти методы, вы можете защитить свое приложение Laravel от нежелательного сканирования в Интернете и сохранить целостность ваших данных.