Программа Duplicat Remover - специализированная программа для работы с текстовыми файлами, способная удалить дубликаты строк и сохранить результаты в другой текстовый документ.
Программа умеет фильтровать и удалять любые повторяющиеся строки: email, телефонные номера, комбинации логин:пароль, прокси листы и прочие дублирующиеся строки.
Дополнительно имеется функция сортировки, установите флажок и сортировка данных в выходном файле произойдет по имени или числовому значению в начале строки. Вторая функция - разбивка файла на части по N мегабайт.
удалить дубликаты строк, повторяющиеся строки