В PySpark обычно приходится работать с наборами данных, содержащими значения с плавающей запятой, которые необходимо преобразовать в целые числа для различных целей. В этой статье блога представлены различные методы, а также примеры кода для преобразования результатов с плавающей запятой в целые числа в PySpark, будь то повышение эффективности вычислений или соблюдение конкретных требований к данным.

Метод 1: использование функции cast()
Пример кода:

from pyspark.sql.functions import col
df = df.withColumn("integer_column", col("float_column").cast("integer"))

Метод 2: использование функций round()и cast()
Пример кода:

from pyspark.sql.functions import col, round
df = df.withColumn("rounded_column", round(col("float_column")).cast("integer"))

Метод 3: применение функций floor()и cast()
Пример кода:

from pyspark.sql.functions import col, floor
df = df.withColumn("floor_column", floor(col("float_column")).cast("integer"))

Метод 4: использование функций ceil()и cast()
Пример кода:

from pyspark.sql.functions import col, ceil
df = df.withColumn("ceil_column", ceil(col("float_column")).cast("integer"))

Метод 5: использование cast()с явным преобразованием типов
Пример кода:

from pyspark.sql.functions import col, expr
df = df.withColumn("integer_column", expr("CAST(float_column AS INT)"))

Метод 6: округление с помощью функций lit()и cast()
Пример кода:

from pyspark.sql.functions import col, lit, round
df = df.withColumn("rounded_column", round(col("float_column") + lit(0.5)).cast("integer"))

В этой статье мы рассмотрели несколько методов преобразования результатов с плавающей запятой в целые числа в PySpark. Эти методы обеспечивают гибкость и позволяют выбрать наиболее подходящий подход в зависимости от вашего конкретного варианта использования. Используя такие функции, как cast(), round(), floor()и ceil(), вы можете эффективно преобразовывать значения с плавающей запятой в целые числа. в ваших конвейерах обработки данных PySpark.