Jak usunąć duplikaty z listy?
Wklej listę, w której każda pozycja jest w osobnym wierszu. Narzędzie porównuje wiersze, zostawia pierwsze wystąpienie każdego z nich i usuwa kolejne. Wynik jest od razu gotowy do skopiowania.
Co uznaje się za duplikat?
Dwa wiersze są duplikatami, gdy po ewentualnym obcięciu spacji i ewentualnym zignorowaniu wielkości liter są identyczne znak w znak.
| Opcja | Efekt | Domyślnie |
|---|---|---|
| Ignoruj wielkość liter | „Łódź” i „łódź” to jedna pozycja | Wyłączona |
| Obetnij spacje w każdym wierszu | Spacje na krańcach wierszy nie wpływają na porównanie i są usuwane z wyniku | Włączona |
| Pomiń puste wiersze | Puste linie nie trafiają do wyniku | Wyłączona |
Bez opcji pomijania pustych wierszy pierwsza pusta linia zostaje, a kolejne są traktowane jako duplikaty.
Polskie znaki i warianty zapisu
Narzędzie porównuje znaki dosłownie i nie normalizuje liter z ogonkami. Wiersze „Lodz” i „Łódź” są więc różne, podobnie jak „zolc” i „żółć”. To zaleta, gdy lista zawiera osobne hasła, ale pułapka, gdy ten sam adres jest zapisany raz z polskimi znakami, a raz bez. Jeśli chcesz wykryć takie pary, najpierw ujednolić zapis w znajdź i zamień albo wygeneruj ASCII-owe warianty w generatorze slugów. Narzędzie nie wykrywa też duplikatów podobnych znaczeniowo, tylko identyczne.
Dobra kolejność pracy
- Oczyść spacje i entery w czyszczeniu tekstu.
- Usuń duplikaty tym narzędziem.
- Posortuj listę w sortowaniu alfabetycznym z polską kolejnością liter.
Przykład z życia
Student zbiera lektury z trzech notatek i widzi to samo źródło trzy razy. Po wklejeniu wszystkiego tutaj z włączonym obcinaniem spacji każda pozycja zostaje raz, w kolejności pierwszego wystąpienia. Tak samo działa to przy liście adresów e-mail uczestników kursu zebranej z kilku formularzy.
Czego narzędzie nie robi
Nie łączy ani nie porównuje kolumn z arkusza: każdy wiersz to jedna całość. Nie zgłasza, które wiersze zostały usunięte, tylko ile ich było, więc przy ważnej liście zachowaj kopię oryginału. Do porównania dwóch wersji tekstu służy porównywanie tekstów.