1. Запросы и Beautiful Soup.
   Один из самых популярных и удобных для новичков методов сканирования веб-страниц — использование библиотек Python Requests и Beautiful Soup. Запросы позволяют отправлять HTTP-запросы на веб-сайт, а Beautiful Soup помогает анализировать HTML-структуру страницы и перемещаться по ней.

import requests
from bs4 import BeautifulSoup
url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
# Extract specific elements from the page
titles = soup.find_all("h1")
for title in titles:
    print(title.text)

2. Scrapy:
   Scrapy — это мощная платформа Python, созданная специально для сканирования веб-страниц. Он предоставляет надежный набор инструментов для сканирования веб-сайтов, обработки файлов cookie и управления асинхронными запросами. Scrapy использует подход, основанный на правилах, что упрощает определение структуры веб-сайтов, которые вы хотите сканировать.

import scrapy
class MySpider(scrapy.Spider):
    name = "example_spider"
    start_urls = ["https://example.com"]
    def parse(self, response):
        titles = response.css("h1::text").getall()
        for title in titles:
            print(title)

3. Selenium:
   Selenium — популярный инструмент автоматизации, который часто используется для веб-тестирования, но его также можно использовать для сканирования веб-страниц. Он позволяет вам взаимодействовать с динамическими веб-страницами, использующими JavaScript. Selenium предоставляет возможности автоматизации браузера, позволяя перемещаться по веб-страницам и извлекать данные.

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
titles = driver.find_elements_by_css_selector("h1")
for title in titles:
    print(title.text)
driver.quit()

4. Pyppeteer:
   Pyppeteer — это библиотека Python, предоставляющая высокоуровневый API для управления автономными браузерами Chrome или Chromium. Он позволяет отображать веб-страницы, взаимодействовать с JavaScript и извлекать данные с динамических веб-сайтов. Pyppeteer — отличный выбор, если вам нужно обрабатывать страницы с большим количеством JavaScript во время сканирования веб-страниц.

import asyncio
from pyppeteer import launch
async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto("https://example.com")
    titles = await page.querySelectorAll("h1")
    for title in titles:
        print(await page.evaluate('(element) => element.textContent', title))
    await browser.close()
asyncio.run(main())