Логотип Loona AutomationLoona Инструменты разработчика
Главная › Инструменты разработчика › Удаление дубликатов & очистка CSV

Удаление дубликатов CSV & очистка - Удаляйте повторяющиеся строки и приводите ваши данные в порядок

Короче говоря: CSV Dedupe & Cleaner удаляет повторяющиеся строки (целую строку или по ключевым столбцам, которые вы выберете), обрезает случайные пробелы, отбрасывает пустые строки и нормализует окончания строк — и показывает точные количества строк до/после.

Объединённые экспорты и повторные импорты оставляют одни и те же строки дважды. Вставьте CSV, выберите, что считается дубликатом, и получите чистый файл с подсчётами, подтверждающими это.

Приватность по замыслу: всё в этом инструменте происходит на 100% в вашем браузере с помощью JavaScript. Ваш ввод никогда не загружается на сервер, никогда не хранится и никогда не виден нам: закройте вкладку, и всё исчезнет.

Как использовать удаление дубликатов и очистку CSV

  1. Вставьте ваш CSV.
  2. При желании назовите ключевые столбцы (номера от 1 или имена заголовков) — пустое значение означает, что вся строка должна совпадать, чтобы считаться дубликатом.
  3. Отмечайте обрезку, удаление пустых строк или сопоставление без учёта регистра по мере необходимости.
  4. Нажмите «Удалить дубликаты & очистить» и проверьте подсчёты до и после.
  5. Скопируйте или скачайте очищенный CSV.

Как это работает

Дубликаты обнаруживаются с помощью точного ключа, построенного либо из всей строки, либо только из ключевых столбцов, которые вы перечислите, соединённых управляющим символом, который не может встретиться в обычных данных, — поэтому ab,c и a,bc никогда не может столкнуться. Первое вхождение каждого ключа сохраняется, а последующие считаются удалёнными. Обрезка происходит перед сопоставлением, поэтому " Ali " и "Ali" распознаются как одно и то же значение. Вывод повторно сериализуется с окончаниями строк CRLF и правильным заключением в кавычки. Строка заголовков никогда не удаляется как дубликат.

Часто задаваемые вопросы

Бесплатен ли этот инструмент удаления дубликатов?

Да — полностью бесплатно, без регистрации, без ограничений.

Что считается дубликатом?

По умолчанию строки, в которых совпадает каждая ячейка. При заданных ключевых столбцах — строки, которые совпадают только по этим столбцам, — сохраняется первая.

Влияет ли обрезка на сопоставление?

Да, когда отмечено: ячейки обрезаются перед обнаружением дубликатов, поэтому случайные пробелы не скрывают дубликаты.

Показываются ли подсчёты?

Да — общее количество строк до и после, и ровно то, сколько дубликатов было удалено.

Загружаются ли мои данные?

Нет. Очистка происходит на 100% в вашем браузере.

Связанные инструменты для разработчиков

Встройте этот инструмент на ваш веб-сайт — бесплатно

Добавьте этот инструмент на ваш собственный веб-сайт или в блог — он полностью бесплатен, не требует регистрации и всегда показывает последнюю версию. Скопируйте код ниже и вставьте его в вашу страницу там, где вы хотите, чтобы инструмент появился. Сохранение небольшой строки авторства “Powered by Loona Automation” под встраиванием помогает сохранять этот инструмент бесплатным — но вы свободны оформить её или удалить; инструмент работает в любом случае.