איך מסירים שורות כפולות
הסרת כפילויות פועלת על שורות: כל שורה בטקסט נחשבת פריט. הכלי עובר על הרשימה מההתחלה, זוכר כל שורה שכבר ראה, ומוחק כל חזרה עליה. התוצאה היא רשימה שבה כל פריט מופיע פעם אחת, לפי סדר ההופעה הראשונה. מדביקים, בודקים את הספירה ומעתיקים.
האפשרויות
| אפשרות | ברירת מחדל | מה היא עושה |
|---|---|---|
| גזירת רווחים | פעילה | מסירה רווחים בתחילת השורה ובסופה לפני ההשוואה, ובתוצאה |
| התעלמות מרישיות | כבויה | מתייחסת ל־Word ול־word כאל אותה שורה (אותיות לטיניות בלבד) |
| הסרת שורות ריקות | כבויה | מוחקת כל שורה ריקה, במקום להשאיר אחת |
מה הכלי נחשב "אותה שורה"
ההשוואה מדויקת תו אחר תו. שורות נחשבות זהות רק אם כל התווים זהים, אחרי גזירת הרווחים אם האפשרות פעילה. בטקסט עברי זה אומר:
- "מִחְקָר" מנוקדת ו"מחקר" בלי ניקוד הן שורות שונות.
- כתיב חסר וכתיב מלא של אותה מילה הם שורות שונות.
- שני סוגי מקף, או גרש עברי וגרש ישר, ייחשבו שונים.
- הכלי מזהה כפילויות מדויקות בלבד ואינו מזהה שורות דומות או בעלות אותו תוכן בניסוח אחר.
לכן, כשהרשימה נאספה ממקורות שונים, כדאי לאחד קודם כתיב ורווחים באמצעות חיפוש והחלפה או ניקוי טקסט.
דוגמה: רשימת מוזמנים
נניח שאספתם שמות מוזמנים מהודעות בקבוצת וואטסאפ ומטופס. אחרי הדבקה אחת אפשר לראות שמתוך 120 שורות הוסרו 18 כפילויות ונשארו 102 שמות. המספרים בדוגמה נועדו להמחשה בלבד. אחרי ההסרה אפשר למיין את הרשימה עם מיון שורות לפי א״ב.
מתי כדאי להשתמש בו ומתי לא
הכלי מתאים לרשימות פשוטות שבהן כל פריט כתוב בשורה משלו: שמות, כתובות, מילות מפתח, מקורות ומק״טים. הוא פחות מתאים לטבלאות עם כמה עמודות, כי שורה נחשבת כפולה רק אם כולה זהה, ולכן שתי שורות עם אותו שם ופרט אחר יישארו שתיהן.
מגבלות
הכלי עובד על שורות שלמות בלבד ואינו מסיר מילים כפולות בתוך משפט או ערכים כפולים בתוך שורה אחת. אין שמירה של הרשימה, ואין ביטול פעולה, לכן שמרו עותק של המקור. הכלי אינו מבצע חיפוש דמיון בין מסמכים; לבדיקת העתקות בין טקסטים קיים בודק ההעתקות.