SEO-пайплайн

В этой статье объясняется, как Thinvent создает страницы запросов на основе поисковых данных. Наш SEO-пайплайн обрабатывает запросы из нескольких источников, кластеризует их, сопоставляет с продуктами и генерирует оптимизированные для поисковых систем страницы.

Источники данных

Мы агрегируем запросы из нескольких источников:

  • Google Search Console (GSC): Органические поисковые запросы с данными о показах и кликах

  • Google Ads: Поисковые запросы, которые запускали показ платных объявлений

  • Google Ads Keyword Ideas: Подсказки ключевых слов с данными о поисковом объеме

  • Живые запросы: Поисковые запросы в реальном времени из нашего поискового сервиса

Эти источники дают всестороннее представление о том, что ищут пользователи, сочетая исторические данные с аналитикой в реальном времени.

Архитектура пайплайна

SEO-пайплайн запускается еженедельно по воскресеньям и состоит из 11 шагов:

flowchart TD
    A[Шаг 0: Встраивание исходных данных] --> B[Шаг 1a: Получение GSC]
    A --> C[Шаг 1b: Получение Ads]
    A --> D[Шаг 1c: Получение Keywords]
    A --> E[Шаг 1d: Получение Live]
    
    B --> G[Шаг 2: Объединение запросов]
    C --> G
    D --> G
    E --> G
    
    G --> H[Шаг 3a: Генерация базовых фраз]
    G --> I[Шаг 3b: Встраивание запросов]
    
    H --> J[Шаг 4: Расширение сопоставлений фраз]
    I --> J
    
    J --> K[Шаг 5: Кластеризация запросов]
    I --> K
    
    K --> L[Шаг 6: Сопоставление с исходными данными]
    A --> L
    
    L --> M[Шаг 7: Маршрутизация запросов]
    J --> M
    K --> M
    
    M --> N[Шаг 8a: Создание страниц запросов]
    K --> O[Шаг 8b: Генерация связанных запросов]
    
    N --> O[Шаг 8b: Генерация связанных запросов]

Пошаговый процесс

Шаг 0: Встраивание исходных данных

Мы создаем семантические векторные представления (эмбеддинги) данных о продуктах с помощью SentenceTransformer. Эти эмбеддинги позже используются для сопоставления запросов с продуктами на основе семантического сходства, а не только по ключевым словам.

Шаги 1a-1e: Получение запросов

Мы получаем запросы из нескольких источников:

  • Google Search Console (GSC): Органические поисковые запросы с метриками эффективности

  • Google Ads: Поисковые запросы, которые запускали показ платных объявлений

  • Google Ads Keyword Ideas: Подсказки ключевых слов с данными о поисковом объеме

  • Живые запросы: Поисковые запросы в реальном времени из нашего поискового сервиса

Каждый источник дает разное представление о намерениях пользователя.

Шаг 2: Объединение запросов

Мы объединяем все запросы в единый набор данных, удаляя дубликаты и агрегируя метрики, такие как показы и клики.

Шаги 3a-3b: Генерация фраз и встраивание

Мы генерируем базовые фразы из характеристик продуктов и создаем эмбеддинги для запросов с помощью SentenceTransformer. Сопоставления фраз используются для извлечения фильтров из поисковых запросов.

Шаг 4: Расширение сопоставлений фраз

Мы расширяем сопоставления фраз путем:

  • Разрешения конфликтов памяти/хранилища (например, "8GB RAM" vs "8GB storage")

  • Построения сопоставлений "фраза -> фильтр"

  • Извлечения N-грамм из запросов

Шаг 5: Кластеризация запросов

Мы группируем похожие запросы с использованием векторного сходства. Семантически похожие запросы объединяются в группы и будут использовать одну и ту же страницу запроса.

Шаг 6: Сопоставление с исходными данными

Мы сопоставляем запросы с продуктами, используя:

  • Векторное сходство между эмбеддингами запросов и эмбеддингами продуктов

  • Извлечение фильтров из сопоставлений фраз

  • Сопоставление по названию продукта

Шаг 7: Маршрутизация запросов

Мы направляем запросы на соответствующие страницы:

  • Поиск совпадений по семейству продуктов (например, семейство "Treo")

  • Поиск совпадений по категории (например, категория "Mini PC")

  • Генерация человеко-понятных URL (слаг) для страниц запросов

Шаги 8a-8b: Создание страниц и связанных запросов

Мы создаем страницы запросов и генерируем связанные запросы:

  • Шаг 8a: Создание страниц запросов со списками продуктов

  • Шаг 8b: Генерация связанных запросов с использованием векторного сходства

Генерация страниц запросов

Страницы запросов генерируются по адресу /q/<slug> и включают:

  • Заголовок: Оптимизирован для поисковых систем

  • Описание: Контент, сгенерированный ИИ

  • Продукты: Наиболее релевантные продукты

  • Фильтры: Извлеченные из запроса

  • Связанные запросы: Совпадения по семантическому сходству

Генерация контента с помощью ИИ

Мы используем ИИ для генерации контента страниц запросов:

  • DeepSeek: Описания продуктов, контент страниц запросов

  • Системные промпты: Для эффективности кэширования

  • Температура (Temperature): 0.7 для сбалансированной креативности

ИИ генерирует:

  • Слоган: Короткий, привлекательный заголовок

  • Основной текст: Подробная информация о продукте

Поддержка нескольких языков

Страницы запросов поддерживают несколько языков:

  • Английский (исходный)

  • Испанский, французский, немецкий, итальянский, португальский

  • Русский, хинди, бенгальский, гуджарати, каннада

  • Малаялам, маратхи, панджаби, тамильский, телугу

  • Арабский, китайский, японский, корейский

Резюме

Наш SEO-пайплайн предоставляет:

  • Всесторонние данные: Множество источников запросов

  • Семантическое сопоставление: Векторное сходство для лучшего подбора

  • Контент от ИИ: Автоматизированная генерация контента

  • Многоязычность: Поддержка 15+ языков

  • Автоматизация: Еженедельный пайплайн с контрольными точками