KI im System: Multi-Provider-Strategie

Dieser Artikel erklärt, wie wir KI auf der gesamten Website für Inhaltsgenerierung, Übersetzung und Chatbot-Antworten einsetzen.

Das Problem: Skalierung der Inhaltserstellung

Die manuelle Erstellung von Inhalten skaliert nicht:

  • Produkte (5k+) benötigen Beschreibungen

  • Suchanfragenseiten (65k+) benötigen einzigartige Inhalte

  • Mehrere Sprachen (10) benötigen Übersetzungen

  • Kundenfragen benötigen sofortige Antworten

Das manuelle Schreiben würde Jahre dauern. Wir benötigen KI-Automatisierung.

Die Lösung: Multi-Provider-KI-Strategie

Wir verwenden drei KI-Anbieter, die jeweils für spezifische Aufgaben optimiert sind:

  • DeepSeek: Produktbeschreibungen, Suchanfragenseiten, KI-gestützte Suche (kosteneffizient, hohe Qualität)

  • Amazon Bedrock: Chatbot-Antworten, interne Tools, Zusammenfassung (AWS-integriert, mehrere Modelle)

  • Gemini: Fallback für Inhaltsgenerierung (schnell)

KI-Anbieter

DeepSeek

DeepSeek ist unser primärer Anbieter für Inhaltsgenerierung aufgrund von Kosteneffizienz und Qualität:

  • Anwendungsfälle: Produktbeschreibungen, Inhalte für Suchanfragenseiten, KI-gestützte semantische Suche

  • Fallback: Together.ai bietet automatisches Failover mit derselben Modellfamilie

  • Caching: System-Prompts ermöglichen Prompt-Caching - wiederholte Anfragen mit demselben System-Prompt profitieren von reduzierten Token-Kosten

Amazon Bedrock

Amazon Bedrock bietet Zugang zu mehreren Foundation-Modellen über AWS:

  • Chatbot: Treibt sowohl den öffentlichen Website-Chatbot als auch den internen Mitarbeiter-Chat an

  • Zusammenfassung: Zusammenfassung von Aktualisierungsnachrichten

  • Analyse: Git-Commit-Analyse, Dateiklassifizierung

  • SEO-Aufgaben: Erweiterte Parsing-Aufgaben mit Claude-Modellen

Gemini

Google Gemini dient als alternativer Anbieter:

  • Anwendungsfälle: Inhaltsgenerierung, wenn DeepSeek nicht verfügbar ist

  • Integration: Direkte API über Googles Generative AI SDK

KI-Anwendungsfälle

Produktbeschreibungen

Wir verwenden DeepSeek, um Produktbeschreibungen zu generieren:

  1. Produktnamen und Feature-Liste aus der Produktdatenbank erstellen
  2. System-Prompt mit dem erwarteten Ausgabeformat konstruieren
  3. An DeepSeek API senden (System-Prompt ermöglicht Caching für wiederholte Anfragen)
  4. Antwort in Tagline und Hauptinhalt parsen
  5. In Datenbank für mehrsprachige Unterstützung speichern

Inhalte für Suchanfragenseiten

Wir verwenden DeepSeek, um Inhalte für Suchanfragenseiten zu generieren:

  1. Suchtext aus Cluster-Daten extrahieren
  2. Produktkontext aus passenden Produkten erstellen
  3. Mit strukturiertem System-Prompt an DeepSeek senden
  4. Antwort in Seitenkomponenten (Tagline und Hauptinhalt) parsen
  5. Für mehrsprachige Bereitstellung speichern

Übersetzung

Wir verwenden DeepSeek für KI-gestützte Übersetzungen:

  1. Fehlende Übersetzungen bei Auftreten in die Warteschlange stellen
  2. Gequeute Zeichenketten in Batches verarbeiten (mit Together.ai-Fallback)
  3. Übersetzungen in Phrasentabellen für Nachschlagevorgänge speichern
  4. Nachfolgende Anfragen verwenden zwischengespeicherte Übersetzungen

Suchvorschläge

Wir verwenden Sentence Transformers für semantische Ähnlichkeit:

  • Einbettungen (Embeddings) für Suchanfragen zur Ähnlichkeitsvergleich generieren

  • Einbettungen in Valkey für Vektorsuche speichern

  • Verwandte Suchanfragen basierend auf Einbettungsdistanz finden

Chatbot

Amazon Bedrock betreibt den Chatbot:

  • Öffentlicher Chatbot: Beantwortet Produktfragen, gibt Empfehlungen

  • Interner Chatbot: Unterstützt Mitarbeiter bei Systemanfragen, beinhaltet Tool-Calls für Datenabfragen

Prompt-Engineering

System-Prompts

System-Prompts ermöglichen Caching-Effizienz mit DeepSeek:

  • Cache-Treffer: Wenn derselbe System-Prompt wiederverwendet wird, cached DeepSeek die Prompt-Tokens, was Kosten und Latenz reduziert

  • Struktur: System-Prompt definiert Ausgabeformat und Einschränkungen; Benutzer-Prompt enthält die spezifische Anfrage

  • Protokollierung: Das System protokolliert Cache-Treffer/Fehlschläge-Statistiken zur Überwachung

Temperatureinstellungen

Verschiedene Aufgaben verwenden unterschiedliche Temperatureinstellungen:

  • Produktbeschreibungen: Höhere Temperatur für kreative, abwechslungsreiche Ausgaben

  • Suchinterpretation: Niedrigere Temperatur für konsistente, vorhersehbare Filterextraktion

  • Chatbot: Moderate Temperatur für ausgewogene Konversationsantworten

  • Zusammenfassung: Niedrigere Temperatur für genaue, fokussierte Zusammenfassungen

Token-Optimierung

Wir optimieren die Token-Nutzung durch:

  • Prompt-Caching: DeepSeek's Cache reduziert Kosten für wiederholte System-Prompts

  • Strukturierte Ausgaben: Anforderung spezifischer JSON-Formate, um Parsing-Overhead zu minimieren

  • Fallback-Behandlung: Automatisches Failover zu Together.ai gewährleistet Verfügbarkeit ohne manuelles Eingreifen

Referenzen

KI-Anbieter-Dokumentation

Verwandte Artikel

Zusammenfassung

Unser KI-System bietet:

  • Mehrere Anbieter: DeepSeek für Inhaltsgenerierung, Bedrock für Chatbots und interne Tools, Gemini als Fallback

  • Optimierte Prompts: System-Prompts ermöglichen Caching zur Kostenreduktion

  • Aufgabenspezifische Abstimmung: Temperatur- und Modellauswahl an die Anforderungen des Anwendungsfalls angepasst

  • Zuverlässigkeit: Automatische Fallback-Mechanismen gewährleisten Verfügbarkeit