Введение в SparkSession в Apache Spark: создание и методы

“Получает существующий сеанс SparkSession или, если он не существует, создает новый на основе предоставленных параметров.”

Что касается вашего запроса на методы, связанные с SparkSession, вот несколько часто используемых методов:

  1. SparkSession.builder(): создает новый экземпляр SparkSession.Builder.
  2. appName(name: String): устанавливает имя приложения.
  3. config(key: String, value: String): устанавливает свойство конфигурации для сеанса.
  4. enableHiveSupport(): включает поддержку Hive, предоставляя доступ к хранилищу данных Hive.
  5. getOrCreate(): получает существующий SparkSessionили создает новый на основе предоставленных параметров.
  6. newSession(): создает новый SparkSession, который использует базовый SparkContext и кэшированные данные.