Извлечение данных с сайтов для полных записей о компаниях
Вставьте или импортируйте список доменов либо используйте сайты, найденные другими источниками. Map Extract проверяет каждый сайт, читает robots.txt, обходит самые важные страницы и сохраняет публичные контакты, структурированные данные о компании, юридические идентификаторы и технологические признаки, затем ищет подходящую карточку в Maps и профили в соцсетях.
Что Вы получаете
Три уровня обхода
Fast, Balanced или Deep: сначала приоритетные страницы, чтение карты сайта и резервный рендеринг в браузере для сайтов, построенных только на скриптах. Припаркованные, неработающие и заблокированные сайты фиксируются и откладываются, а не считаются данными.
Сведения о компании и технологиях
Типы JSON-LD, регистрационный номер компании и номер VAT, CMS, платформа электронной коммерции, хостинг, срок действия SSL, пиксели аналитики и рекламы, а также тип сайта: действующая компания, магазин, издатель или блог.
ИИ-обогащение с доказательствами
Необязательный ИИ-поиск заполняет недостающее описание, категорию, местоположение или публичный контакт для подходящих полей там, где есть доказательства. Принятые значения сохраняют URL источника и подтверждающий их фрагмент.
Назначение ящика и проверка email
Каждый адрес помечается по назначению (запросы, продажи, бронирования, поддержка), а ящики для вопросов конфиденциальности, жалоб и no-reply исключаются из рассылок. Проверка сообщает синтаксис, маршрутизацию почты и, если включено, результаты проверки ящика.
Состояния проверки перед выгрузкой
Записи помечаются как собранные, обогащённые, ожидающие проверки или готовые к отправке. Выгрузка в CSV, XLSX или JSONL либо в простые списки email, разделённые по результату проверки.
Layer 3 и перевод на английский
Layer 3 добавляет дополнительные факты, указанные на сайте, каждый из которых привязан к цитате. Подходящие описания на иностранных языках получают английскую версию, а исходная формулировка сохраняется.
Как это работает
Обход каждого сайта
Каждый домен проверяется на DNS и доступность. Страницы, запрещённые в robots.txt, пропускаются. Fast читает главную страницу, Balanced читает меню, подвал и ключевые страницы (до 15), а Deep проходит два уровня ссылок (по умолчанию 20, максимум 50). Первыми идут страницы контактов, «о компании», услуг, бронирования, цен и правил.
Сопоставление источников
Начиная с сайта, Map Extract планирует до семи поисков в Maps на основе данных самого сайта (домен, название с почтовым индексом или городом, телефон, адрес) и принимает карточку только тогда, когда домен её сайта совпадает. Затем подходящие профили Facebook и Instagram сверяются с той же компанией.
Заполнение недостающих полей
Необязательный ИИ-поиск заполняет пробелы в подходящих полях там, где есть доказательства. Каждое принятое значение сохраняет URL источника и подтверждающий фрагмент; неподтверждённые предложения остаются пустыми. Layer 3 может добавить дополнительные факты, указанные на сайте, а описания на иностранных языках получают английскую версию рядом с оригиналом.
Проверка записи
Проверьте каждую запись, её источники и состояние: собрана, обогащена, ожидает проверки или готова к отправке. У каждого адреса email есть назначение ящика, например продажи или бронирования, и вердикт проверки, в котором указано, какие проверки выполнены.
Выгрузка или передача
Выгрузите одобренные записи в CSV, XLSX или JSONL с фильтрами по качеству, источнику и дате или передайте их в модуль рассылки. У модуля рассылки собственные проверки разрешений, списки исключений и этапы одобрения.
Website Data Extractor: частые вопросы
Что нужно для начала работы?
Список доменов или URL (вставленный или импортированный), Map Extract на компьютере с Windows и подключение к интернету. Обработка дубликатов, фильтры поддоменов и списки блокировки email и доменов задаются до запуска.
Соблюдает ли программа robots.txt?
Да. Файл robots.txt читается, а запрещённые страницы пропускаются. Страницы с политикой конфиденциальности и условиями всё же могут читаться, чтобы зафиксировать юридические сведения. Сайт, который блокирует доступ или показывает CAPTCHA, фиксируется как заблокированный, а домены в карантине повторно проверяются только по Вашему выбору.
Можно ли сопоставлять британские компании с Companies House?
Да, в рамках британского сценария. Номер или название компании, найденные на сайте, можно использовать для поиска совпадения в реестре, при котором сохраняются зарегистрированный адрес, статус и история статуса. Для использования API Companies House нужен Ваш собственный бесплатный ключ API.
Нужен ли ключ ИИ?
Нет. Сбор данных, обход сайтов, сопоставление и выгрузка работают без ИИ. Для ИИ-обогащения, Layer 3 и перевода на английский нужен настроенный провайдер, например Ваш собственный ключ API Gemini, локальная модель LM Studio или ИИ-маршрут через браузер, и действуют условия и тарифы этого провайдера.
Насколько точны записи?
Map Extract сохраняет то, что публикует каждый источник, и хранит рядом ссылку на источник. Карточки прикрепляются по совпадению доменов сайтов, результаты из неверной области помечаются, а значения ИИ сохраняются только при наличии подтверждающего фрагмента. Источники меняются и могут быть неполными, поэтому проверяйте записи, прежде чем на них полагаться.
Где хранятся мои записи и что передаётся?
Проекты хранятся локально на Вашем компьютере с Windows в базе данных SQLite, и Вы сами решаете, что выгружать. Запуски отправляют запросы к включённым источникам, а если Вы включите ИИ, Ваш запрос и выбранный контекст уходят выбранному ИИ-провайдеру. Публичные результаты о компаниях и из соцсетей, собранные приложением, автоматически загружаются на серверы Map Extract, пока оно лицензировано и запущено; это объясняется в уведомлении о конфиденциальности.
Начните с одного небольшого запуска, результат которого можно проверить
Прочитайте руководство по Website Data Extractor, проверьте статус бесплатного демо и системные требования, затем выберите лицензию для Вашего компьютера с Windows.