Сортировка и удаление дубликатов строк

Что делает инструмент сортировки и удаления повторяющихся строк

Этот инструмент рассматривает ваш текст как список — по одному элементу на строку — и переупорядочивает или очищает его за один проход. Вы можете сохранить исходный порядок, отсортировать по алфавиту А–Я или Я–А, отсортировать естественно, чтобы 2 шло перед 10, отсортировать по длине строки, обратить текущий порядок или перемешать случайно. Наряду с упорядочиванием вы можете удалить повторяющиеся строки, игнорировать регистр при сравнении, обрезать начальные и конечные пробелы в каждой строке и отбросить пустые строки. Это ежедневная рабочая лошадка для каждого, кто оперирует списками: дедупликация экспорта электронных адресов или подписчиков, упорядочивание библиографии по алфавиту или набора импортов, очистка столбца, вставленного из электронной таблицы, приведение в порядок списка слов или нормализация партии имён хостов, IP-адресов или прокси перед тем, как подать их куда-то дальше.

Как это работает технически

Инструмент разбивает ваш ввод по символам новой строки (обрабатывая окончания строк Windows \r\n, классического Mac \r и Unix \n) в массив строк, а затем применяет ваши опции в определённом порядке. Обрезка и удаление пустых строк происходят первыми, чтобы они не исказили последующие шаги. Дедупликация сохраняет первое вхождение каждой строки и отбрасывает остальные, используя хеш-множество для скорости; с включённым «игнорировать регистр» она сравнивает версию в нижнем регистре, так что Apple и apple считаются одной записью. Далее сортировка выполняется над тем, что осталось: алфавитные режимы используют локале-зависимый localeCompare браузера, естественный режим сравнивает встроенные числа по значению, а не цифра за цифрой, режим по длине упорядочивает по количеству символов, а перемешивание даёт свежую случайную перестановку за каждый запуск. Всё основано на строках, поэтому оно ведёт себя одинаково, будь то ваши строки — это имена, URL-адреса или числа.

Конкретные примеры и сценарии использования

• Дедупликация списка рассылки: вставьте тысячи адресов, отметьте «удалить дубликаты» и «игнорировать регистр», и сведите [email protected] и [email protected] в один.
• Естественная сортировка версий или файлов: v1, v2, v10, v20 оказываются в человеческом порядке вместо v1, v10, v2, v20.
• Очистка вставленного столбца: обрежьте лишние пробелы и удалите пустые строки, оставленные копированием из электронной таблицы.
• Случайная выборка: перемешайте список имён, чтобы выбрать справедливый порядок или вытянуть первые несколько как быструю лотерею.

Практические советы и подводные камни

Порядок операций важен: поскольку обрезка выполняется перед дедупликацией, две строки, различающиеся лишь конечным пробелом, правильно распознаются как дубликаты. Естественная сортировка помогает только тогда, когда числа появляются внутри текста; для чистых слов она ведёт себя как обычная алфавитная сортировка. Локале-зависимая сортировка означает, что буквы с диакритикой могут оказаться не совсем там, куда их поставила бы сортировка по сырым байтам, — обычно это то, что нужно, изредка неожиданно. Помните, что дедупликация точна (после любого свёртывания регистра и обрезки): café, написанное с комбинируемым акцентом, и café, написанное одним предварительно составленным символом, выглядят одинаково, но являются разными строками, поэтому нормализуйте источник, смешивающий оба варианта. Перемешивание каждый раз по-настоящему случайно, поэтому сохраните копию, если вам нужно воспроизвести определённый порядок.

Приватность: инструмент работает на 100% локально в вашем браузере. Ваш список разбивается, сортируется и дедуплицируется целиком в JavaScript на вашем устройстве — ничего не загружается, ничего не логируется, и ни одна строка никогда не покидает вашу машину, что важно, когда список — это клиентские электронные адреса, внутренние имена хостов или что-либо ещё конфиденциальное. Если ваши строки — это IP-адреса или серверы, которые вы затем хотите проверить, наш инструмент проверки IP ищет любой отдельный адрес так же приватно.