В мире анализа и обработки данных pandas — популярная библиотека, предоставляющая мощные инструменты для работы с табличными данными. Одной из распространенных задач является поиск отдельных строк в DataFrame, что означает идентификацию уникальных строк и удаление всех дубликатов. В этой статье мы рассмотрим различные методы достижения этой цели с помощью pandas и предоставим примеры кода, иллюстрирующие каждый подход.

Метод 1: использование метода drop_duplicates()

Метод drop_duplicates()в pandas позволяет нам удалять повторяющиеся строки из DataFrame. По умолчанию при выявлении дубликатов учитываются все столбцы. Вот пример использования этого метода:

import pandas as pd
# Create a sample DataFrame
data = {'Name': ['John', 'Alice', 'John', 'Bob', 'Alice'],
        'Age': [25, 28, 25, 30, 28],
        'City': ['New York', 'London', 'New York', 'Paris', 'London']}
df = pd.DataFrame(data)
# Find distinct rows using drop_duplicates()
distinct_df = df.drop_duplicates()
print(distinct_df)

Выход:

    Name  Age      City
0   John   25  New York
1  Alice   28    London
3    Bob   30     Paris

Метод 2: использование метода duplicated()

Метод duplicated()возвращает логическую серию, указывающую, является ли каждая строка дубликатом или нет. Мы можем использовать этот метод для фильтрации повторяющихся строк из DataFrame. Вот пример:

import pandas as pd
# Using the same DataFrame as before
# Find duplicates using duplicated()
duplicates = df.duplicated()
# Filter out duplicate rows
distinct_df = df[~duplicates]
print(distinct_df)

Выход:

    Name  Age      City
0   John   25  New York
1  Alice   28    London
3    Bob   30     Paris

Метод 3: группировка и агрегирование

Другой подход к поиску отдельных строк — группировка DataFrame по всем столбцам, а затем объединение групп. Этот метод особенно полезен, если вы хотите выполнить дополнительные вычисления над отдельными строками. Вот пример:

import pandas as pd
# Using the same DataFrame as before
# Group by all columns and select the first row of each group
distinct_df = df.groupby(list(df.columns)).first().reset_index()
print(distinct_df)

Выход:

    Name  Age      City
0  Alice   28    London
1    Bob   30     Paris
2   John   25  New York

Метод 4: удаление дубликатов на основе определенных столбцов

Если вы хотите найти отдельные строки на основе определенных столбцов, вы можете предоставить подмножество имен столбцов методу drop_duplicates(). Это позволяет вам сосредоточиться на уникальных комбинациях значений в этих столбцах. Вот пример:

import pandas as pd
# Using the same DataFrame as before
# Find distinct rows based on 'Name' and 'City' columns
distinct_df = df.drop_duplicates(subset=['Name', 'City'])
print(distinct_df)

Выход:

    Name  Age      City
0   John   25  New York
1  Alice   28    London
3    Bob   30     Paris

В этой статье мы рассмотрели несколько методов поиска отдельных строк в DataFrame с помощью pandas. Мы научились использовать метод drop_duplicates(), использовать метод duplicated(), группировать и агрегировать данные, а также удалять дубликаты на основе определенных столбцов. Эти методы предоставляют гибкие способы идентификации и извлечения уникальных строк из набора данных, что позволяет выполнять дальнейший анализ или манипулирование данными.

Используя эти методы, вы сможете эффективно обрабатывать повторяющиеся строки в данных и получать ценную информацию. Приятного программирования с пандами!