L'IA dans le système : Stratégie Multi-Fournisseurs

Cet article explique comment nous utilisons l'IA à travers le site web pour la génération de contenu, la traduction et les réponses du chatbot.

Le Problème : Mettre à l'Échelle la Création de Contenu

Créer du contenu manuellement ne passe pas à l'échelle :

  • Produits (5k+) ont besoin de descriptions

  • Pages de requêtes (65k+) ont besoin de contenu unique

  • Langues multiples (10) ont besoin de traductions

  • Questions clients ont besoin de réponses instantanées

Écrire tout cela manuellement prendrait des années. Nous avons besoin de l'automatisation par IA.

La Solution : Stratégie Multi-Fournisseurs d'IA

Nous utilisons trois fournisseurs d'IA, chacun optimisé pour des tâches spécifiques :

  • DeepSeek : Descriptions de produits, pages de requêtes, recherche sémantique par IA (rentable, haute qualité)

  • Amazon Bedrock : Réponses du chatbot, outils internes, résumé (intégré AWS, modèles multiples)

  • Gemini : Solution de secours pour la génération de contenu (rapide)

Fournisseurs d'IA

DeepSeek

DeepSeek est notre fournisseur principal pour la génération de contenu en raison de son rapport qualité-prix :

  • Cas d'utilisation : Descriptions de produits, contenu des pages de requêtes, recherche sémantique par IA

  • Secours : Together.ai fournit un basculement automatique utilisant la même famille de modèles

  • Mise en cache : Les prompts système permettent la mise en cache des prompts - les requêtes répétées avec le même prompt système bénéficient d'une réduction des coûts en tokens

Amazon Bedrock

Amazon Bedrock fournit un accès à plusieurs modèles de fondation via AWS :

  • Chatbot : Alimente à la fois le chatbot public du site web et le chat interne des employés

  • Résumé : Résumé des messages de mise à jour

  • Analyse : Analyse des commits Git, classification des fichiers

  • Tâches SEO : Analyse avancée utilisant les modèles Claude

Gemini

Google Gemini sert de fournisseur alternatif :

  • Cas d'utilisation : Génération de contenu lorsque DeepSeek n'est pas disponible

  • Intégration : API directe via le SDK Google Generative AI

Cas d'Utilisation de l'IA

Descriptions de Produits

Nous utilisons DeepSeek pour générer les descriptions de produits :

  1. Construire le nom du produit et la liste des caractéristiques à partir de la base de données produits
  2. Construire un prompt système décrivant le format de sortie attendu
  3. Envoyer à l'API DeepSeek (le prompt système permet la mise en cache pour les requêtes répétées)
  4. Analyser la réponse en slogan et contenu principal
  5. Stocker dans la base de données pour le support multilingue

Contenu des Pages de Requêtes

Nous utilisons DeepSeek pour générer le contenu des pages de requêtes :

  1. Extraire le texte de la requête des données de cluster
  2. Construire le contexte produit à partir des produits correspondants
  3. Envoyer à DeepSeek avec un prompt système structuré
  4. Analyser la réponse en composants de page (slogan et corps)
  5. Stocker pour servir en multilingue

Traduction

Nous utilisons DeepSeek pour les traductions par IA :

  1. Mettre en file d'attente les traductions manquantes lorsqu'elles sont rencontrées
  2. Traiter les chaînes en file d'attente par lots (avec Together.ai en secours)
  3. Stocker les traductions dans des tables de phrases pour la recherche
  4. Les requêtes suivantes utilisent les traductions mises en cache

Suggestions de Recherche

Nous utilisons Sentence Transformers pour la similarité sémantique :

  • Générer des embeddings de requêtes pour la comparaison de similarité

  • Stocker les embeddings dans Valkey pour la recherche vectorielle

  • Trouver des requêtes liées basées sur la distance d'embedding

Chatbot

Amazon Bedrock alimente le chatbot :

  • Chatbot public : Répond aux questions sur les produits, fournit des recommandations

  • Chatbot interne : Aide les employés avec les requêtes système, inclut des appels d'outils pour la recherche de données

Ingénierie des Prompts

Prompts Système

Les prompts système permettent l'efficacité de la mise en cache avec DeepSeek :

  • Accès au cache : Lorsque le même prompt système est réutilisé, DeepSeek met en cache les tokens du prompt, réduisant les coûts et la latence

  • Structure : Le prompt système définit le format de sortie et les contraintes ; le prompt utilisateur contient la demande spécifique

  • Journalisation : Le système journalise les statistiques d'accès/échec au cache pour le monitoring

Paramètres de Température

Différentes tâches utilisent différents paramètres de température :

  • Descriptions de produits : Température plus élevée pour une sortie créative et variée

  • Interprétation de recherche : Température plus basse pour une extraction de filtres cohérente et prévisible

  • Chatbot : Température modérée pour des réponses conversationnelles équilibrées

  • Résumé : Température plus basse pour des résumés précis et ciblés

Optimisation des Tokens

Nous optimisons l'utilisation des tokens via :

  • Mise en cache des prompts : Le cache de DeepSeek réduit les coûts des prompts système répétés

  • Sorties structurées : Demander des formats JSON spécifiques pour minimiser la surcharge d'analyse

  • Gestion du secours : Le basculement automatique vers Together.ai maintient la disponibilité sans intervention manuelle

Références

Documentation des Fournisseurs d'IA

Articles Liés

Résumé

Notre système d'IA fournit :

  • Fournisseurs multiples : DeepSeek pour la génération de contenu, Bedrock pour les chatbots et outils internes, Gemini en secours

  • Prompts optimisés : Les prompts système permettent la mise en cache pour réduire les coûts

  • Réglage spécifique aux tâches : Température et sélection de modèle adaptées aux exigences des cas d'utilisation

  • Fiabilité : Les mécanismes de basculement automatique maintiennent la disponibilité