Удаление дубликатов в Python: List, List Comprehension, OrderedDict, pandas и numpy

  1. Использование списка:

    • Преобразуйте список в набор для автоматического удаления дубликатов, а затем преобразуйте его обратно в список.
    • Пример кода: unique_list = list(set(original_list))
  2. Использование понимания списка:

    • Создайте новый список, перебирая исходный список и добавляя только элементы, которых еще нет в новом списке.
    • Пример кода: unique_list = [x для i, x в enumerate(original_list), если x нет в original_list[:i]]
  3. Использование класса OrderedDict из модуля коллекций:

    • OrderedDict сохраняет порядок элементов, исключая дубликаты.
    • Пример кода: из коллекций import OrderedDict unique_list = list(OrderedDict.fromkeys(original_list))
  4. Использование библиотеки pandas:

    • Если вы работаете с фреймами данных, вы можете использовать метод drop_duplications()из библиотеки pandas.
    • Пример кода: импортировать pandas как pd unique_df = original_df.drop_duulates()
  5. Использование библиотеки numpy:

    • Если у вас есть массив NumPy, вы можете использовать функцию unique()для получения уникальных значений.
    • Пример кода: import numpy как np unique_array = np.unique(original_array)