В PySpark вы можете использовать преобразование groupByдля группировки данных на основе одного или нескольких столбцов. Для создания списка значений для каждой группы можно использовать различные методы. Вот несколько примеров:

1. Агрегация в список. Вы можете использовать функцию collect_listиз модуля pyspark.sql.functionsдля агрегирования значений в список. Вот пример:

from pyspark.sql import SparkSession
from pyspark.sql.functions import collect_list
# Create a SparkSession
spark = SparkSession.builder.getOrCreate()
# Read your data into a DataFrame
data = spark.read.csv('your_data.csv', header=True)
# Group by a column and collect values into a list
grouped_data = data.groupBy('column_name').agg(collect_list('value_column').alias('list_of_values'))

2. Объединение с map. Вы можете использовать преобразование map, чтобы применить функцию к каждой группе и собрать результаты в список. Вот пример:

# Group by a column and use map to create a list of values
grouped_data = data.groupBy('column_name').agg(
    collect_list('value_column').alias('list_of_values')
).select('column_name', F.expr('map(list_of_values, x -> x)').alias('list_of_values'))

3. Использование groupByKey. Другой вариант — использовать преобразование groupByKey. Однако обратите внимание, что этот метод менее эффективен по сравнению с предыдущими, особенно для больших наборов данных. Вот пример:

# Group by a column using groupByKey and collect values into a list
grouped_data = data.rdd.groupByKey().mapValues(list).toDF(['column_name', 'list_of_values'])