Метод 1. Удаление повторяющихся столбцов с помощью функции pandas duulated()

import pandas as pd
# Merge two DataFrames
merged_df = pd.merge(df1, df2, on='common_column')
# Identify duplicate columns
duplicate_columns = merged_df.columns[merged_df.columns.duplicated()]
# Drop duplicate columns
merged_df = merged_df.drop(duplicate_columns, axis=1)

Метод 2. Использование функции pandas groupby()для выбора отдельных столбцов

import pandas as pd
# Merge two DataFrames
merged_df = pd.merge(df1, df2, on='common_column')
# Group columns by name and select the first occurrence
merged_df = merged_df.groupby(merged_df.columns, axis=1).first()

Метод 3. Переименование повторяющихся столбцов с суффиксом и удаление лишних

import pandas as pd
# Merge two DataFrames
merged_df = pd.merge(df1, df2, on='common_column')
# Rename duplicate columns with a suffix
merged_df.columns = [f'{col}_{i}' if merged_df.columns.duplicated().tolist()[i] else col for i, col in enumerate(merged_df.columns)]
# Drop redundant columns
merged_df = merged_df.loc[:, ~merged_df.columns.duplicated()]

Метод 4. Использование словаря для удаления повторяющихся столбцов

import pandas as pd
# Merge two DataFrames
merged_df = pd.merge(df1, df2, on='common_column')
# Create a dictionary comprehension to remove duplicate columns
merged_df = pd.concat({col: merged_df[col] for col in merged_df.columns if not merged_df[col].equals(merged_df.iloc[:, 0])}, axis=1)