Чтобы проверить наличие дубликатов документов между двумя индексами в Logstash, вы можете использовать несколько методов. Вот несколько подходов:

1. Использование запросов Elasticsearch. Вы можете использовать запросы Elasticsearch для сравнения документов в двух индексах на основе определенных полей или критериев. Один из подходов — выполнить запрос на уровне термина в поле уникального идентификатора для выявления дубликатов.

2. Агрегации. Еще один способ выявления повторяющихся документов — использование агрегатов в Elasticsearch. Вы можете использовать агрегаты терминов в полях, которые хотите сравнить, и оценить количество документов для каждого термина. Если количество больше единицы, это указывает на наличие дубликатов.

3. Плагины фильтров Logstash: Logstash предоставляет различные плагины фильтров, которые можно использовать для выявления повторяющихся документов. Например, плагин фильтра отпечатков пальцев генерирует уникальный хэш на основе содержимого документа, что позволяет сравнивать хэши между двумя индексами для выявления дубликатов.

4. Плагины вывода Logstash: Плагины вывода Logstash можно использовать для записи документов из одного индекса в другой индекс. Настроив Logstash для вывода документов в новый индекс, вы можете использовать встроенные механизмы обнаружения дубликатов Elasticsearch. Elasticsearch отклонит любые документы, имеющие тот же уникальный идентификатор, что и существующий документ в целевом индексе.

5. Скрипты Logstash Ruby: Logstash позволяет вам писать собственные скрипты Ruby в вашем конвейере. Вы можете написать сценарий, который извлекает документы из обоих индексов и сравнивает их на основе определенных полей или критериев для выявления дубликатов.