Этапы удаления повторяющегося значения из файла в данных

1. Вы можете использовать этап сортировки и использовать уникальные настройки в свойствах
2. И используйте трансформатор последовательно и продолжайте проверять входящие строки, являются ли они дублированными или нет, если да, не переходите к выходу, иначе проход

Есть несколько способов удалить дубликаты, кроме использования этапа удаления дубликатов. Как указано выше, вы можете использовать этап сортировки, этап преобразования.

На этапе сортировки вы можете включить столбец Key Change (), и это будет полезно для фильтрации повторяющихся записей.

Вы можете использовать этап агрегатора для удаления дубликатов. Здесь вам нужно еще 2 этапа скопировать и присоединиться к этапам. Даже мы можем захватить повторяющиеся записи, используя этап удаления дубликатов.

Самый простой способ - использовать опцию фильтра в свойствах последовательной стадии файла. В поле фильтра введите команду Unix sort -u, и работа будет выполнена.