Сортування та видалення дублікатів рядків

Що робить інструмент сортування та видалення повторюваних рядків

Цей інструмент розглядає ваш текст як список — по одному елементу на рядок — і переупорядковує чи очищає його за один прохід. Ви можете зберегти початковий порядок, відсортувати за абеткою А–Я чи Я–А, відсортувати природно, щоб 2 йшло перед 10, відсортувати за довжиною рядка, обернути поточний порядок або перемішати випадково. Поряд із упорядкуванням ви можете видалити повторювані рядки, ігнорувати регістр під час порівняння, обрізати початкові й кінцеві пробіли в кожному рядку та відкинути порожні рядки. Це щоденний робочий кінь для кожного, хто оперує списками: дедуплікація експорту електронних адрес чи підписників, упорядкування бібліографії за абеткою чи набору імпортів, очищення стовпця, вставленого з електронної таблиці, впорядкування списку слів або нормалізація партії імен хостів, IP-адрес чи проксі перед тим, як подати їх кудись далі.

Як це працює технічно

Інструмент розбиває ваш ввід за символами нового рядка (обробляючи закінчення рядків Windows \r\n, класичного Mac \r та Unix \n) на масив рядків, а потім застосовує ваші опції у визначеному порядку. Обрізання та видалення порожніх рядків відбуваються першими, щоб вони не спотворили пізніші кроки. Дедуплікація зберігає перше входження кожного рядка й відкидає решту, використовуючи хеш-множину для швидкості; з увімкненим «ігнорувати регістр» вона порівнює версію в нижньому регістрі, тож Apple і apple вважаються одним записом. Далі сортування виконується над тим, що залишилося: абеткові режими використовують локале-залежний localeCompare браузера, природний режим порівнює вбудовані числа за значенням, а не цифра за цифрою, режим за довжиною впорядковує за кількістю символів, а перемішування дає свіжу випадкову перестановку за кожен запуск. Усе базується на рядках, тож воно поводиться однаково, чи то ваші рядки — це імена, URL-адреси чи числа.

Конкретні приклади та сценарії використання

• Дедуплікація списку розсилки: вставте тисячі адрес, позначте «видалити дублікати» й «ігнорувати регістр», і зведіть [email protected] та [email protected] в одну.
• Природне сортування версій чи файлів: v1, v2, v10, v20 опиняються у людському порядку замість v1, v10, v2, v20.
• Очищення вставленого стовпця: обріжте зайві пробіли й видаліть порожні рядки, залишені копіюванням з електронної таблиці.
• Випадкова вибірка: перемішайте список імен, щоб обрати справедливий порядок або витягнути перші кілька як швидку лотерею.

Практичні поради та підводні камені

Порядок операцій має значення: оскільки обрізання виконується перед дедуплікацією, два рядки, що відрізняються лише кінцевим пробілом, правильно розпізнаються як дублікати. Природне сортування допомагає лише тоді, коли числа з'являються всередині тексту; для чистих слів воно поводиться як звичайне абеткове сортування. Локале-залежне сортування означає, що літери з наголосами можуть опинитися не зовсім там, куди їх поставило б сортування за сирими байтами, — зазвичай це те, що потрібно, зрідка несподівано. Пам'ятайте, що дедуплікація точна (після будь-якого згортання регістру й обрізання): café, написане з комбінованим наголосом, і café, написане одним попередньо складеним символом, виглядають однаково, але є різними рядками, тож нормалізуйте джерело, що змішує обидва варіанти. Перемішування щоразу справді випадкове, тож збережіть копію, якщо вам потрібно відтворити певний порядок.

Приватність: інструмент працює на 100% локально у вашому браузері. Ваш список розбивається, сортується й дедуплікується цілком у JavaScript на вашому пристрої — нічого не завантажується, нічого не логується, і жоден рядок ніколи не залишає вашу машину, що має значення, коли список — це клієнтські електронні адреси, внутрішні імена хостів чи будь-що інше конфіденційне. Якщо ваші рядки — це IP-адреси чи сервери, які ви потім хочете перевірити, наш інструмент перевірки IP шукає будь-яку окрему адресу так само приватно.