Рецепты регулярных выражений для очистки данных CRM и CSV

Regex-рецепты для очистки данных CRM и CSV

Грязные данные в CRM стоят реальных денег: отказы email-рассылок, дубликаты контактов, испорченные слияния. Вот 5 проверенных regex-паттернов для решения самых частых проблем. Проверяйте каждый в Regex Tester перед применением к боевым данным.

1. Нормализация номеров телефонов

Убрать всё, кроме цифр и ведущего +:

Паттерн: [^\d+]
Замена:  (пусто)
Флаги:   g

Вход: (555) 123-4567 → Выход: 5551234567

Вход: +7-999-123-45-67 → Выход: +79991234567

Затем форматируйте программно:

const digits = phone.replace(/[^\d+]/g, '');
// Формат RU: +7 (XXX) XXX-XX-XX

2. Валидация email

Отсеять очевидно невалидные адреса до попадания в CRM:

Паттерн: ^[^\s@]+@[^\s@]+\.[^\s@]+$

Совпадает: [email protected], [email protected]

Отклоняет: user @example, @missing.com, no-at-sign.com

Это практичный фильтр, а не полное соответствие RFC 5322. Для продакшена дополните проверкой MX-записей.

3. Удаление дублирующихся пробелов

Экспорт CSV и копирование часто добавляют лишние пробелы:

Паттерн: \s{2,}
Замена:  (один пробел)
Флаги:   g

Вход: Иванов Пётр Сергеевич → Выход: Иванов Пётр Сергеевич

Также убирайте пробелы по краям: ^\s+|\s+$ (флаги: gm для многострочного режима).

4. Извлечение домена из URL

Вытащить домен компании из списка URL:

Паттерн: https?:\/\/([^\/]+)
Группа захвата 1 = домен

Вход: https://www.acme-corp.com/about → Группа 1: www.acme-corp.com

Чтобы убрать www.:

Паттерн: https?:\/\/(?:www\.)?([^\/]+)

5. Очистка артефактов CSV-кавычек

CSV-парсеры иногда оставляют лишние кавычки и пробелы:

Паттерн: ^[\s"]+|[\s"]+$
Замена:  (пусто)
Флаги:   g (применять к каждому полю)

Вход: " Acme Corp " → Выход: Acme Corp

Для экранированных двойных кавычек внутри полей:

Паттерн: ""
Замена:  "

Всё вместе

import re

def clean_crm_row(row: dict) -> dict:
    if 'phone' in row:
        row['phone'] = re.sub(r'[^\d+]', '', row['phone'])
    if 'email' in row:
        row['email'] = row['email'].strip().lower()
    if 'company' in row:
        row['company'] = re.sub(r'\s{2,}', ' ', row['company']).strip()
    return row

Вставьте каждый паттерн в Regex Tester с тестовыми данными, чтобы убедиться в корректности совпадений и захватов перед применением к реальной базе.

Связанные материалы