Puppeteer — это мощная библиотека Node.js, разработанная Google, которая позволяет автоматизировать веб-браузеры и управлять ими. Он предоставляет API высокого уровня для взаимодействия с веб-страницами, включая возможность мониторинга и обработки сетевых запросов. В этой статье мы рассмотрим различные методы перехвата и извлечения сетевых запросов с помощью Puppeteer, а также приведем примеры кода.

1. Перехват всех сетевых запросов:

Чтобы перехватить все сетевые запросы страницы, вы можете использовать метод page.setRequestInterception(true). Это активирует функцию перехвата, и вы сможете прослушивать событие requestдля индивидуальной обработки каждого запроса. Вот пример:

const puppeteer = require('puppeteer');
(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.setRequestInterception(true);
  page.on('request', (request) => {
    console.log('Intercepted request:', request.url());
    request.continue();
  });
  await page.goto('https://www.example.com');

  await browser.close();
})();

2. Фильтрация запросов:

Если вы хотите фильтровать запросы по определенным критериям, вы можете изменить обработчик событий requestдля выборочного перехвата запросов. Например, вы можете фильтровать запросы по типу (например, перехватывать только запросы XHR) или шаблонам URL-адресов. Вот пример, который перехватывает только запросы XHR:

page.on('request', (request) => {
  if (request.resourceType() === 'xhr') {
    console.log('XHR request intercepted:', request.url());
  }
  request.continue();
});

3. Изменение запросов:

Puppeteer позволяет изменять перехваченные запросы перед их отправкой на сервер. Вы можете изменить заголовки запросов, метод, данные публикации и многое другое. Вот пример, в котором к каждому перехваченному запросу добавляется пользовательский заголовок:

page.on('request', (request) => {
  const headers = request.headers();
  headers['X-Custom-Header'] = 'Custom Value';
  request.continue({ headers });
});

4. Сбор данных ответов:

Чтобы получить доступ к данным ответа на перехваченный запрос, вы можете прослушать событие response. Это событие предоставляет доступ к объекту ответа, позволяя извлекать такую ​​информацию, как заголовки ответа, состояние и тело ответа. Вот пример:

page.on('response', (response) => {
  console.log('Intercepted response:', response.url());
  console.log('Status:', response.status());
  console.log('Headers:', response.headers());
  response.text().then((body) => {
    console.log('Body:', body);
  });
});

5. Блокировка запросов:

В некоторых случаях вам может потребоваться заблокировать отправку определенных запросов. Puppeteer предоставляет метод request.abort()для блокировки запроса. Вот пример, который блокирует все запросы изображений:

page.on('request', (request) => {
  if (request.resourceType() === 'image') {
    request.abort();
  } else {
    request.continue();
  }
});

Способность Puppeteer перехватывать и обрабатывать сетевые запросы открывает мир возможностей для очистки веб-страниц, автоматизации и тестирования. В этой статье мы рассмотрели различные методы перехвата запросов, их фильтрации, изменения заголовков, сбора данных ответа и блокировки запросов. С помощью этих методов вы можете получить детальный контроль над сетевой активностью ваших сценариев Puppeteer и извлекать необходимые данные с веб-страниц.

Освоив сетевые запросы с помощью Puppeteer, вы получите мощный инструмент для извлечения ценной информации и автоматизации задач, связанных с Интернетом.