Сканирование веб-сайтов – это мощный метод, используемый для извлечения данных с веб-сайтов. Laravel Dusk Spider — это пакет, который обеспечивает элегантный и эффективный способ сканирования веб-сайтов с помощью Laravel, популярной PHP-инфраструктуры. В этой статье мы рассмотрим различные методы сканирования веб-сайтов с помощью Laravel Dusk Spider и предоставим примеры кода для каждого метода.

1. Установка Laravel Dusk Spider:

Для начала вам необходимо установить Laravel Dusk Spider. Откройте терминал и перейдите в каталог проекта Laravel. Чтобы установить пакет, выполните следующую команду:

composer require spatie/laravel-dusk-spider

1. Основы веб-сканирования:

Давайте начнем с простого примера сканирования веб-сайта с помощью Laravel Dusk Spider. Создайте новый класс Spider, выполнив следующую ремесленную команду:

php artisan make:spider MySpider

Это создаст новый класс Spider в каталоге app/Spiders. Откройте сгенерированный файл и обновите свойство startUrl, указав URL-адрес, который вы хотите сканировать:

namespace App\Spiders;
use Spatie\Crawler\Crawler;
use Spatie\Crawler\CrawlProfiles\CrawlInternalUrls;
class MySpider extends Crawler
{
    protected $startUrl = 'https://example.com';
    public function configureCrawl()
    {
        $this->setCrawlProfile(new CrawlInternalUrls($this->startUrl));
    }
    public function handleCrawl($url)
    {
        // Handle crawled URL
    }
}

1. Обработка просканированных URL-адресов:

Внутри handleCrawl

public function handleCrawl($url)
{
    $this->crawler->filter('title')->each(function ($node) {
        $title = $node->text();
        // Process the title
    });
}

1. Определение ограничений:

Вы можете установить ограничения на процесс сканирования, например максимальную глубину сканирования, максимальное количество просканированных страниц или исключение определенных URL-адресов. Обновите метод configureCrawlв классе Spider, чтобы определить эти ограничения:

public function configureCrawl()
{
    $this->setCrawlProfile(new CrawlInternalUrls($this->startUrl))
         ->setMaximumDepth(3)
         ->setTotalCrawlLimit(100)
         ->excludeUrls(['https://example.com/admin']);
}

1. Прослушиватели событий сканирования:

Laravel Dusk Spider предоставляет прослушиватели событий, которые позволяют вам подключаться к различным этапам процесса сканирования. Вы можете использовать эти прослушиватели для выполнения дополнительных действий или изменения поведения паука. Вот пример использования прослушивателя событий crawled:

public function configureCrawl()
{
    $this->setCrawlProfile(new CrawlInternalUrls($this->startUrl))
         ->addCrawlObserver(new MyCrawlObserver());
}
class MyCrawlObserver
{
    public function crawled($url, $response)
    {
        // Handle crawled URL and response
    }
}

Laravel Dusk Spider упрощает процесс сканирования веб-сайтов в приложениях Laravel. В этой статье мы рассмотрели несколько методов сканирования веб-сайтов с помощью Laravel Dusk Spider, включая базовое сканирование, обработку сканируемых URL-адресов, определение ограничений и использование прослушивателей событий сканирования. Используя эти методы, вы можете извлекать ценные данные с веб-сайтов и автоматизировать различные задачи. Приятного сканирования!