Когда дело доходит до парсинга веб-страниц и анализа HTML, BeautifulSoup (bs4) — это мощная библиотека Python с интуитивно понятным интерфейсом. В этой статье мы рассмотрим различные методы извлечения ссылок, не заключенных в скобки, с помощью BeautifulSoup. Мы предоставим примеры кода, чтобы продемонстрировать использование и эффективность каждого метода.

Метод 1: регулярные выражения (регулярные выражения)
Регулярные выражения можно использовать для сопоставления шаблонов в тексте HTML. Используя регулярное выражение, мы можем идентифицировать и извлекать ссылки, которые не попадают в скобки. Вот пример фрагмента кода:

import re
from bs4 import BeautifulSoup
html = """
<p>Here is a link: <a href="https://example.com">Example</a></p>
<p>Here is a link [https://example2.com]</p>
"""
soup = BeautifulSoup(html, 'html.parser')
links = soup.find_all('a', href=re.compile(r'^(?!.*\[).*'))
for link in links:
    print(link['href'])

from bs4 import BeautifulSoup
html = """
<div>
    <p>Here is a link: <a href="https://example.com">Example</a></p>
    Here is a link [https://example2.com]
</div>
"""
soup = BeautifulSoup(html, 'html.parser')
def extract_links(element):
    links = []
    for child in element.children:
        if child.name == 'a':
            links.append(child['href'])
        elif child.string and '[' not in child.string and ']' not in child.string:
            links.extend(extract_links(child))
    return links
links = extract_links(soup)
for link in links:
    print(link)

Метод 3: селекторы CSS
BeautifulSoup поддерживает селекторы CSS, которые предоставляют краткий способ выбора элементов на основе их атрибутов и иерархических отношений. Мы можем использовать селекторы CSS для выбора ссылок, не заключенных в скобки. Вот пример:

from bs4 import BeautifulSoup
html = """
<p>Here is a link: <a href="https://example.com">Example</a></p>
<p>Here is a link [https://example2.com]</p>
"""
soup = BeautifulSoup(html, 'html.parser')
links = soup.select('a:not(:has(+ :contains("[")))')
for link in links:
    print(link['href'])

В этой статье мы рассмотрели три различных метода извлечения ссылок, не заключенных в скобки, с помощью BeautifulSoup. Мы рассмотрели регулярные выражения, навигацию по дереву HTML и использование селекторов CSS. Каждый метод обеспечивает гибкость и может применяться в зависимости от конкретных требований вашего проекта парсинга веб-страниц. Используя эти методы, вы можете эффективно извлекать ссылки из HTML-контента, игнорируя ссылки в квадратных скобках.

Не забывайте использовать эти методы ответственно и соблюдайте политику веб-сайта и юридические рекомендации при очистке контента. Удачной чистки!