Mitä työkalu vertaa
Työkalu vertaa kokonaisia rivejä, ei sanoja. Kaksi riviä ovat toistoja vain, jos niiden koko sisältö on sama (valittujen asetusten jälkeen). Rivit "kahvi" ja "kahvi ja tee" ovat siis eri rivejä. Jos haluat löytää toistuvia sanoja pitkästä tekstistä, käytä sanafrekvenssilaskuria.
Valinnat
| Valinta | Oletus | Vaikutus |
|---|---|---|
| Älä erota isoja ja pieniä kirjaimia | pois | "Oulu" ja "oulu" lasketaan samaksi riviksi |
| Poista rivien alku- ja loppuvälilyönnit | päällä | "Oulu " ja "Oulu" lasketaan samaksi, ja tulokseen jää siistitty rivi |
| Poista tyhjät rivit | pois | Kaikki tyhjät rivit poistetaan |
Mikä jää tulokseen
Jos kaksi riviä eroaa vain kirjainkoon vuoksi ja valitset kirjainkoon yhdistämisen, tulokseen jää ensimmäinen versio sellaisenaan, ei sen pieniksi muutettu muoto. Työkalu ei myöskään tunne suomen taivutusta: kissa ja kissat ovat eri rivejä. Samoin esimerkiksi Åbo ja Turku ovat eri rivejä, vaikka tarkoittavat samaa kaupunkia, sillä työkalu vertaa merkkejä eikä merkitystä.
Käytännön ohje
- Siivoa ensin teksti tekstin siistijällä, jos listassa on näkymättömiä merkkejä tai sitovia välejä, jotka estävät saman rivin tunnistamisen samaksi.
- Jos lista on Excelissä, kopioi sarake suoraan: jokainen solu tulee omalle rivilleen.
- Tarkista tilastoista, että poistettujen toistojen määrä vastaa odotustasi.
Työkalu toimii selaimessa, eikä sille ole palvelinkutsua tai päiväkiintiötä. Hyvin suuret listat, kuten satoja tuhansia rivejä, voivat silti hidastaa selainta.
Esimerkki käytännöstä
Sanotaan, että keräät ilmoittautumisia kolmesta lomakkeesta ja yhdistät ne yhteen listaan. Samat sähköpostiosoitteet esiintyvät useammin kuin kerran, ja osa on kirjoitettu isoilla kirjaimilla. Valitse silloin sekä kirjainkoon yhdistäminen että alku- ja loppuvälien poisto, jolloin jokainen osoite jää listaan kerran. Lajittele tulos halutessasi vielä aakkostajalla, niin lista on helppo tarkistaa silmämääräisesti. Muista, että esimerkiksi nimen eri kirjoitusasut (Matti ja Matias) eivät ole toistoja, koska työkalu vertaa merkkejä eikä merkitystä.
Milloin toistot kannattaa poistaa
Toistuvat rivit haittaavat useimmin silloin, kun lista yhdistetään useasta lähteestä: ilmoittautumisista, avainsanatyökaluista tai tiedostoluettelosta. Poista toistot ennen jatkokäsittelyä, jotta kukin alkio lasketaan vain kerran ja lopullinen määrä on oikea. Vertaa tilastoista rivien määrää ennen ja jälkeen.