Чтобы удалить дубликаты в JSON с помощью Python, вы можете использовать следующие методы:

Метод 1: использование наборов

Вы можете преобразовать данные JSON в список словарей Python, а затем преобразовать его в набор. Поскольку наборы содержат только уникальные элементы, дубликаты будут автоматически удаляться.

import json
json_data = '[{"key": "value1"}, {"key": "value2"}, {"key": "value1"}]'
data = json.loads(json_data)
unique_data = list({json.dumps(d, sort_keys=True) for d in data})
print(unique_data)

Метод 2: использование понимания списка

В этом методе вы можете перебирать данные JSON и создавать новый список без дубликатов.

import json
json_data = '[{"key": "value1"}, {"key": "value2"}, {"key": "value1"}]'
data = json.loads(json_data)
unique_data = [dict(t) for t in {tuple(d.items()) for d in data}]
print(unique_data)

Метод 3. Использование библиотеки pandas

Если у вас большой набор данных JSON, вы можете использовать библиотеку pandas для эффективного удаления дубликатов.

import pandas as pd
json_data = '[{"key": "value1"}, {"key": "value2"}, {"key": "value1"}]'
data = pd.read_json(json_data)
unique_data = data.drop_duplicates().to_dict(orient='records')
print(unique_data)