В Python Spark предоставляет мощный модуль под названием «Spark DataFrame», который построен на основе инфраструктуры распределенных вычислений Spark. Он предлагает высокоуровневый API для работы со структурированными и полуструктурированными данными. Вот несколько методов, обычно используемых с кадрами данных Spark:

1. show(): отображает содержимое DataFrame в табличном формате.
2. printSchema(): печатает схему DataFrame, включая типы данных и флаги, допускающие значение NULL.
3. select(): выбирает определенные столбцы из DataFrame.
4. filter(): фильтрует строки DataFrame на основе условия.
5. groupBy(): группирует DataFrame на основе указанных столбцов.
6. agg(): выполняет агрегатные функции, такие как сумма, количество, среднее значение и т. д., для сгруппированных данных.
7. orderBy(): сортирует DataFrame на основе одного или нескольких столбцов.
8. join(): выполняет операции соединения между двумя кадрами данных на основе общих столбцов.
9. distinct(): возвращает отдельные строки из DataFrame.
10. withColumn(): добавляет новый столбец или заменяет существующий столбец измененным значением.