Парсинг реестров и 2ГИС: B2B-каталоги компаний
Для отдела продаж, маркетинга или аналитики регулярно нужен актуальный список компаний определённого профиля — по отрасли, региону, размеру. Ручной сбор такой базы занимает недели и быстро устаревает. Автоматизированный сбор данных из открытых источников — 2ГИС и государственных реестров — позволяет получить структурированный каталог компаний за дни, а не месяцы.
Что даёт автоматический сбор каталога компаний
Каталог компаний нужен для нескольких типовых задач:
- Формирование базы для outbound-продаж — список потенциальных клиентов с телефонами, адресами, видом деятельности для работы отдела продаж.
- Анализ конкурентной среды — сколько игроков работает в нише в конкретном регионе, как они распределены географически.
- Проверка контрагентов — сопоставление данных из открытых источников с реестровой информацией перед заключением договора.
- Построение территориального покрытия — для розницы, франшиз, сервисных сетей важно понимать плотность точек в городе или районе.
Рекламная коммуникация по собранной базе — зона ответственности заказчика: рассылки и обращения должны соответствовать ст. 18 Закона о рекламе и требованиям к согласию на получение рекламы. Мы поставляем структурированный каталог; как его использовать в маркетинге — решает юридический отдел заказчика.
Задачи такого типа мы описываем подробнее на странице задач — там собраны похожие кейсы по сбору каталогов и справочников.
Какие данные можно получить
Из открытых карточек организаций в 2ГИС и из государственных реестров обычно доступны:
- название компании, юридическое наименование;
- адрес, координаты, район, город;
- телефон, сайт (если указаны в открытой карточке);
- вид деятельности, рубрика/категория;
- график работы;
- ИНН, ОГРН, статус организации (действующая/ликвидирована) — из реестровых источников;
- дата регистрации, юридический адрес — из ЕГРЮЛ.
Комбинация «карточка 2ГИС + реестровые реквизиты» даёт наиболее полный профиль компании: контактные данные для связи плюс юридический статус для проверки.
2ГИС как источник — что реально доступно
2ГИС предоставляет официальный API с коммерческими лицензионными условиями — для регулярного сбора больших объёмов и интеграции в CRM это рекомендуемый путь: предсказуемый доступ, документированная схема данных, без риска блокировки из-за частоты запросов. Мы помогаем заказчику выбрать между официальным API и сбором из открытого веб-интерфейса — в зависимости от объёма, бюджета и частоты обновления.
При сборе через веб-интерфейс мы работаем с общедоступной информацией, которую пользователь видит в браузере без авторизации: название, адрес, телефон, категория, режим работы.
Важно понимать ограничения веб-сбора:
- при задачах на десятки и сотни тысяч карточек с ежедневным обновлением официальный API обычно выгоднее и стабильнее;
- при сборе через веб-интерфейс мы соблюдаем разумную скорость запросов, не создаём избыточную нагрузку на сервис и работаем только с открытыми, общедоступными карточками;
- некоторые данные (например, приватные номера, внутренние теги) не публикуются в открытом доступе, и мы их не собираем — работаем строго с тем, что видно любому посетителю сайта.
Мы не даём гарантий доступа к закрытым разделам или обхода технических ограничений сервиса — только сбор публичной информации в рамках правил использования сайта.
Открытые реестры: ЕГРЮЛ и отраслевые базы
Федеральная налоговая служба публикует данные ЕГРЮЛ/ЕГРИП в открытом доступе — через сервис проверки контрагентов на сайте ФНС. Оттуда можно получить:
- полное и сокращённое наименование юрлица;
- ИНН, ОГРН, КПП;
- юридический адрес;
- статус организации;
- сведения о руководителе (в объёме, который публикуется официально);
- дату регистрации и, если применимо, дату прекращения деятельности.
Помимо ФНС, часть отраслевых реестров и лицензионных баз также публикуют открытые данные (например, реестры лицензий по отдельным видам деятельности, публикуемые профильными ведомствами). Мы работаем только с теми реестрами, где данные официально размещены для открытого просмотра, и не используем непубличные или платные API третьих лиц без соответствующего разрешения.
Задача обычно решается так: сначала собираем список компаний по гео и отрасли из 2ГИС, затем обогащаем каждую запись реквизитами из открытого реестра ФНС — так получается каталог с контактами и одновременно с юридическим статусом.
Гео-сегментация и фильтрация по отраслям
Каталог редко нужен «весь и сразу» — как правило, требуется выборка по конкретным параметрам:
- город или район — например, только точки в пределах МКАД или в определённом федеральном округе;
- рубрика/ОКВЭД — конкретная отрасль или несколько смежных категорий;
- размер компании — можно приблизительно оценить по количеству филиалов в 2ГИС или дополнительным признакам;
- статус организации — только действующие, исключая ликвидированные или находящиеся в процессе реорганизации.
Гибкая фильтрация на этапе сбора экономит время на дальнейшей обработке — вы получаете сразу целевой список, а не общий массив, который потом нужно чистить вручную.
Примеры подобных выборок и то, как менялась структура каталога под задачу заказчика, можно посмотреть в разделе кейсов.
Дедупликация и очистка данных
Один из главных источников проблем в собранных каталогах — дубли. Одна и та же компания может встречаться:
- в нескольких филиалах с похожими, но не идентичными названиями;
- под разными формами написания (ООО «Ромашка» / ООО Ромашка / Ромашка ООО);
- с разными телефонами для разных отделов, которые ошибочно считаются отдельными записями.
Мы применяем несколько уровней дедупликации:
- Точное совпадение по ИНН/ОГРН — если реквизиты собраны, это самый надёжный признак.
- Нормализация названий — приведение к единому формату (удаление кавычек, организационно-правовой формы, лишних пробелов) перед сравнением.
- Сопоставление по адресу и телефону — для случаев, когда реквизиты недоступны, но адрес и контакты совпадают.
- Ручная проверка спорных случаев — если автоматика не может однозначно решить, дубль это или нет, запись помечается для проверки заказчиком.
Итоговый каталог передаётся с указанием, какие записи прошли полную дедупликацию, а какие требуют дополнительной верификации со стороны отдела продаж.
Выгрузка в CRM
Каталог бесполезен, если он лежит файлом на диске и не используется в работе. Поэтому финальный этап — выгрузка данных в формате, готовом для загрузки в CRM:
- CSV/Excel с заголовками полей, совместимыми со стандартными импортами Bitrix24, amoCRM, RetailCRM и аналогичных систем;
- сопоставление полей — при необходимости мы заранее уточняем структуру полей в вашей CRM, чтобы импорт прошёл без ручной перекладки колонок;
- сегментация по тегам — если каталог собирался по нескольким отраслям или регионам, можно сразу проставить теги для последующей фильтрации внутри CRM;
- периодическое обновление — если требуется, настраивается регулярная выгрузка (например, раз в месяц) для актуализации базы: новые компании добавляются, ликвидированные помечаются.
Стоимость и формат такой работы зависят от объёма каталога и частоты обновлений — ориентиры по пилотным проектам смотрите на странице тарифов.
Легальность и работа с персональными данными
Мы работаем только с открытыми источниками: публичными карточками организаций в 2ГИС и официально опубликованными реестровыми данными (ЕГРЮЛ/ЕГРИП на сайте ФНС и аналогичные открытые государственные ресурсы). Собираемая информация относится к юридическим лицам и индивидуальным предпринимателям в связи с их коммерческой деятельностью, а не к частным лицам вне профессионального контекста.
Тем не менее при работе с любыми данными, включающими ФИО руководителей, контактные телефоны или иные сведения, потенциально подпадающие под определение персональных данных, необходимо учитывать требования 152-ФЗ «О персональных данных» — в части целей обработки, сроков хранения и оснований для использования такой информации в маркетинговых или иных целях. Общий разбор факторов — в статье «Законность парсинга в России». Это не юридическая консультация: при работе с персональными данными рекомендуем проконсультироваться с юристом вашей компании для оценки конкретного сценария использования собранного каталога.
Как устроен процесс на стороне подрядчика
Обычно работа над каталогом строится так:
- Уточнение параметров — регионы, отрасли, объём каталога, требуемые поля, формат выгрузки.
- Тестовая выборка — небольшой пример каталога (100–300 записей) для проверки качества и полноты данных перед масштабированием.
- Полный сбор — сбор данных по согласованным параметрам из 2ГИС и открытых реестров.
- Обогащение и дедупликация — сопоставление данных из разных источников, устранение дублей, нормализация полей.
- Выгрузка — передача каталога в согласованном формате, при необходимости — прямая интеграция с CRM заказчика.
- Поддержка обновлений — при необходимости настраивается периодическая актуализация каталога.
Такой поэтапный подход позволяет на раннем этапе увидеть качество данных и скорректировать параметры сбора, не дожидаясь завершения всего проекта.
Обсудить задачу
Опишите регион, отрасли и объём базы — подготовим тестовую выборку и покажем, как будет выглядеть готовый каталог перед полной выгрузкой.