Методы удаления повторяющихся столбцов в операции слияния Pandas

  1. Удалить повторяющиеся столбцы. После объединения DataFrames с помощью функции pd.merge()в Pandas вы можете удалить повторяющиеся столбцы, выбрав только уникальные столбцы. Вот пример:

    merged_df = pd.merge(df1, df2, on='common_column')
    merged_df = merged_df.loc[:, ~merged_df.columns.duplicated()]
  2. Укажите имена столбцов. Вместо объединения всех столбцов вы можете явно указать столбцы, которые хотите включить в объединенный DataFrame. Такой подход гарантирует, что повторяющиеся столбцы не будут включены. Вот пример:

    merged_df = pd.merge(df1, df2, on='common_column', suffixes=('_df1', '_df2'))[['common_column', 'other_column']]
  3. Используйте метод merge()с суффиксами: метод merge()предоставляет суффиксы>параметр, который позволяет указать суффиксы для перекрывающихся имен столбцов. Используя разные суффиксы, вы можете различать повторяющиеся столбцы. Вот пример:

    merged_df = df1.merge(df2, on='common_column', suffixes=('_df1', '_df2'))
  4. Используйте join(). Вместо использования merge()вы можете использовать метод join(), который выполняет соединение по столбцам. Этот метод автоматически обрабатывает повторяющиеся имена столбцов, добавляя суффиксы. Вот пример:

    merged_df = df1.join(df2, lsuffix='_df1', rsuffix='_df2')
  5. Переименование столбцов. Если вы предпочитаете сохранить все столбцы из объединенных DataFrames, вы можете переименовать повторяющиеся столбцы перед объединением. Этот подход обеспечивает уникальные имена столбцов в конечном DataFrame. Вот пример:

    df1 = df1.add_suffix('_df1')
    df2 = df2.add_suffix('_df2')
    merged_df = pd.merge(df1, df2, left_on='common_column_df1', right_on='common_column_df2')