Когда дело доходит до парсинга веб-страниц и автоматизации браузеров, Puppeteer – это мощный инструмент, предоставляющий высокоуровневый API для управления автономными браузерами Chrome или Chromium. Одним из важных аспектов взаимодействия с веб-серверами является управление заголовками HTTP. В этой статье мы рассмотрим различные методы в Puppeteer для установки заголовков и управления веб-запросами. Итак, берите редактор кода и приступайте!

Метод 1. Использование метода setExtraHTTPHeaders:

await page.setExtraHTTPHeaders({
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
  'Accept-Language': 'en-US,en;q=0.9',
});

Вызвав setExtraHTTPHeaders, вы можете передать объект, содержащий пары ключ-значение, представляющие заголовки, которые вы хотите установить. В приведенном выше примере мы установили заголовки User-Agentи Accept-Language.

Метод 2. Перехват запросов с событием request:

await page.setRequestInterception(true);
page.on('request', (request) => {
  const headers = {
    ...request.headers(),
    'Authorization': 'Bearer your_token_here',
  };
  request.continue({ headers });
});

Включение перехвата запросов позволяет вам изменять заголовки перед отправкой запроса. В этом примере мы перехватываем запросы и добавляем заголовок Authorizationс токеном-носителем.

Метод 3. Изменение заголовков с помощью evaluate:

await page.evaluate(() => {
  document.documentElement.setAttribute('lang', 'fr');
});

Используя evaluate, вы можете выполнять код JavaScript в контексте страницы. В этом примере показано изменение атрибута langHTML-документа, что косвенно влияет на заголовок Accept-Language.

Метод 4. Эмуляция устройств с помощью определенных заголовков:

const iPhoneX = puppeteer.devices['iPhone X'];
await page.emulate(iPhoneX);

Puppeteer предоставляет ряд предустановок устройств, которые автоматически устанавливают заголовки и другие свойства для эмуляции определенных устройств. В данном случае мы эмулируем iPhone X, который устанавливает соответствующие заголовки для мобильных устройств.

Метод 5. Изменение заголовков с помощью gotoпараметров:

await page.goto('https://example.com', {
  headers: {
    'X-Custom-Header': 'Custom Value',
  },
});

При переходе по URL-адресу с помощью page.gotoвы можете передать объект параметров со свойством headers, чтобы установить определенные заголовки для этого запроса. В этом примере мы установили собственный заголовок под названием X-Custom-Header.

Контроль HTTP-заголовков в Puppeteer имеет решающее значение для различных задач веб-скрапинга и автоматизации. В этой статье мы рассмотрели различные методы установки заголовков, в том числе использование setExtraHTTPHeaders, перехват запросов, оценку кода JavaScript, эмуляцию устройств и изменение заголовков с помощью параметров goto. Освоив эти методы, вы сможете настроить свои веб-запросы и расширить возможности сценариев Puppeteer.

Не забывайте использовать эти методы ответственно и соблюдайте условия обслуживания веб-сайта и юридические аспекты. Удачной чистки!