Как инструмент определяет дубль
Дублем считается строка, полностью совпадающая с одной из предыдущих. Сравнивается вся строка целиком, а не отдельные слова. «Иванов Пётр» и «Пётр Иванов» для инструмента разные строки, так же как «Иванов П.» и «Иванов Пётр».
| Параметр | По умолчанию | Что меняет |
|---|---|---|
| Игнорировать регистр | выключен | «Москва» и «москва» считаются одной строкой |
| Обрезать пробелы | включён | Пробелы в начале и конце строки не учитываются |
| Удалить пустые строки | выключен | Пустые строки удаляются целиком |
Буква ё и другие тонкости
Инструмент не приравнивает «ё» к «е»: «Пётр» и «Петр» останутся разными строками. Это важно для списков фамилий и адресов, где в одних источниках ё пишут, а в других нет. Если нужно объединить такие варианты, сначала приведите написание к одному виду через «Найти и заменить», а потом удаляйте дубли.
Так же с пунктуацией и пробелами внутри строки: «Москва, Россия» и «Москва,Россия» различаются. Лишние пробелы между словами уберёт очистка текста.
Типичный порядок работы
- Очистите список от скрытых символов и двойных пробелов.
- Приведите регистр или включите его игнорирование.
- Удалите дубли и скопируйте результат.
- При необходимости упорядочите список через сортировку по алфавиту.
Ограничения
Учитывайте, что инструмент не запоминает ваши списки между визитами: закройте вкладку, и данные исчезнут.
Инструмент работает с точным совпадением строк. Он не находит «почти одинаковые» строки, опечатки и перестановки слов. Чтобы найти почти одинаковые записи, отсортируйте список и просмотрите соседние строки глазами: после сортировки похожие варианты оказываются рядом. Для списка из нескольких тысяч строк браузер справляется быстро, но на очень больших объёмах работа зависит от вашего устройства. Результат появляется в браузере, список никуда не передаётся.
Примеры из практики
В SEO-таблицах дубли возникают, когда запросы собирают из нескольких источников: после объединения один и тот же запрос встречается по три-четыре раза. В учёбе повторы появляются при сборке списка источников из нескольких файлов, а в рассылках — когда адрес вводили разными людьми. Во всех случаях порядок такой: сначала очистка, затем удаление дублей, затем при необходимости сортировка.