Метод 1: Pandas GroupBy

import pandas as pd
# Assuming you have a dataframe called 'df' with multiple columns
# Group the dataframe by each column and select the first value from each group
df_selected = df.groupby(df.columns).first().reset_index()

Метод 2: SQL DISTINCT
Если ваш набор данных хранится в базе данных, вы можете использовать SQL для достижения того же результата. Вот пример использования ключевого слова DISTINCT:

SELECT DISTINCT col1, col2, col3
FROM your_table;

Метод 3: словарь Python
Если у вас есть список словарей, где каждый словарь представляет строку в вашем наборе данных, вы можете использовать словарь для хранения уникальных значений для каждого столбца:

data = [
    {'col1': 'a', 'col2': 1, 'col3': 'x'},
    {'col1': 'b', 'col2': 2, 'col3': 'y'},
    {'col1': 'a', 'col2': 3, 'col3': 'z'},
    {'col1': 'c', 'col2': 1, 'col3': 'x'},
]
selected = {}
for row in data:
    for key, value in row.items():
        if key not in selected:
            selected[key] = value
# Output the selected values
for key, value in selected.items():
    print(f"{key}: {value}")