Google Cloud Platform (GCP) предоставляет мощные инструменты для анализа и обработки данных. Среди этих инструментов блокноты Jupyter широко используются для интерактивного исследования и анализа данных. Одной из популярных функций блокнотов Jupyter является возможность выполнения SQL-запросов с помощью расширения Magic BigQuery. В этой статье мы рассмотрим различные методы использования переменных Python в запросах Magic BigQuery в блокноте Jupyter.

Методы использования переменных Python в Magic BigQuery:

1. Форматирование строк.
   Один простой метод — использовать форматирование строк для внедрения переменных Python в строку запроса SQL. Вот пример:

from google.cloud import bigquery
# Define the variable
year = 2022
# Format the query string
query = f"""
    SELECT *
    FROM `my_project.my_dataset.my_table`
    WHERE YEAR(date_column) = {year}
"""
# Run the query
client = bigquery.Client()
result = client.query(query).to_dataframe()

2. Параметризованные запросы.
   Другой подход — использование параметризованных запросов. Этот метод обеспечивает лучшую безопасность и производительность за счет отделения логики запроса от значений переменных. Вот пример:

from google.cloud import bigquery
# Define the variable
year = 2022
# Prepare the query
query = """
    SELECT *
    FROM `my_project.my_dataset.my_table`
    WHERE YEAR(date_column) = @year
"""
# Run the query
client = bigquery.Client()
job_config = bigquery.QueryJobConfig()
job_config.query_parameters = [bigquery.ScalarQueryParameter("year", "INT64", year)]
result = client.query(query, job_config=job_config).to_dataframe()

3. Использование %%bigquery Magic с переменными Python:
   Если вы используете команду %%bigqueryMagic, вы можете передавать переменные Python непосредственно в запрос SQL, используя фигурные скобки {}. Вот пример:

# Define the variable
year = 2022
# Run the query
%%bigquery --project my_project
SELECT *
FROM `my_dataset.my_table`
WHERE YEAR(date_column) = {year}

В этой статье мы рассмотрели различные методы использования переменных Python в запросах Magic BigQuery в блокноте Jupyter в Google Cloud Platform (GCP). Используя форматирование строк, параметризованные запросы или команду %%bigqueryMagic, вы можете легко включать переменные Python в свои запросы SQL, обеспечивая более динамичный и гибкий анализ данных.