Wie ich KI verwendet habe, um inkonsistente Attributwerte im E-Commerce in großem Maßstab zu beheben

Wenn die Leute über die Skalierung des E-Commerce sprechen, konzentrieren sie sich auf große technische Herausforderungen: verteilte Suche, Echtzeit-Inventar, Empfehlungsmaschinen und Checkout-Optimierung. Aber darunter liegt ein stilleres, hartnäckigeres Problem, mit dem fast jeder Einzelhändler kämpft: Attributwerte.

Attribute sind das Rückgrat der Produktentdeckung. Sie treiben Filter, Vergleiche, Suchranking und Empfehlungslogik an. Aber in echten Katalogen sind Attributwerte selten sauber. Sie sind inkonsistent, dupliziert, falsch formatiert oder semantisch mehrdeutig.

Nehmen Sie etwas so Einfaches wie Größe. Sie könnten sehen:

Code

["XL", "Small", "12cm", "Large", "M", "S"]

Oder Farbe:

Code

["RAL 3020", "Crimson", "Red", "Dark Red"]

Einzeln betrachtet sehen diese Inkonsistenzen harmlos aus. Aber multiplizieren Sie sie über mehr als 3 Millionen SKUs, jede mit Dutzenden von Attributen, und das Problem wird systemisch. Filter verhalten sich unvorhersehbar, Suchmaschinen verlieren an Relevanz, Händler ertrinken in manueller Bereinigung, und die Produktentdeckung wird für Kunden langsamer und frustrierender.

Das war die Herausforderung, der ich als Full-Stack-Software-Ingenieur bei Zoro gegenüberstand, ein Problem, das leicht zu übersehen war, aber jede Produktseite betraf.

Mein Ansatz: Hybrid-KI trifft auf Determinismus

Ich wollte keine mysteriöse Black-Box-KI, die einfach Dinge sortiert. Solche Systeme sind schwer zu vertrauen, zu debuggen oder zu skalieren. Stattdessen zielte ich auf eine Pipeline ab, die:

• erklärbar
• vorhersehbar
• skalierbar
• von Menschen steuerbar war

Das Ergebnis war eine hybride KI-Pipeline, die kontextuelles Denken von LLMs mit klaren Regeln und Händlerkontrollen kombiniert. Sie handelt intelligent, wenn nötig, bleibt aber immer vorhersehbar. Dies ist KI mit Leitplanken, nicht KI außer Kontrolle.

Hintergrund-Jobs: Gebaut für Durchsatz

Die gesamte Attributverarbeitung erfolgt in Offline-Hintergrund-Jobs, nicht in Echtzeit. Dies war kein Kompromiss; es war eine strategische architektonische Entscheidung.

Echtzeit-Pipelines klingen verlockend, aber im E-Commerce-Maßstab führen sie zu:

• unvorhersehbarer Latenz
• fragilen Abhängigkeiten
• teuren Rechenspitzen
• operativer Fragilität

Offline-Jobs hingegen gaben uns:

• Hoher Durchsatz: riesige Stapel verarbeitet, ohne Live-Systeme zu beeinträchtigen
• Widerstandsfähigkeit: Ausfälle betrafen niemals den Kundenverkehr
• Kostenkontrolle: Berechnungen konnten während verkehrsarmer Zeiten geplant werden
• Isolation: LLM-Latenz beeinträchtigte niemals Produktseiten
• Konsistenz: Updates waren atomar und vorhersehbar

Die Trennung von kundenbezogenen Systemen und Datenverarbeitungs-Pipelines ist entscheidend, wenn man mit Millionen von SKUs arbeitet.

Reinigung & Normalisierung

Bevor ich KI auf die Daten anwendete, führte ich einen klaren Vorverarbeitungsschritt durch, um Rauschen und Verwirrung zu entfernen. Dieser Schritt mag einfach klingen, aber er verbesserte das Denkvermögen des LLM erheblich.

Die Reinigungs-Pipeline umfasste:

• Leerzeichen trimmen
• Leere Werte entfernen
• Werte deduplizieren
• Kategorie-Breadcrumbs in einen kontextuellen String vereinfachen

Dies stellte sicher, dass das LLM saubere, klare Eingaben erhielt, was der Schlüssel zu konsistenten Ergebnissen ist. Müll rein, Müll raus. In diesem Maßstab können selbst kleine Fehler später zu größeren Problemen führen.

LLM-Service mit Kontext

Das LLM sortierte nicht nur Werte alphabetisch. Es dachte über sie nach.

Der Service erhielt:

• gereinigte Attributwerte
• Kategorie-Breadcrumbs
• Attribut-Metadaten

Mit diesem Kontext konnte das Modell verstehen:

• Dass "Spannung" in Elektrowerkzeugen numerisch ist
• dass "Größe" in Bekleidung einer bekannten Progression folgt
• dass "Farbe" in Farben möglicherweise RAL-Standards folgt
• dass "Material" in Hardware semantische Beziehungen hat

Das Modell lieferte zurück:

• geordnete Werte
• verfeinerte Attributnamen
• eine Entscheidung: deterministische oder kontextuelle Sortierung

Dies ermöglicht der Pipeline, verschiedene Attributtypen zu handhaben, ohne Regeln für jede Kategorie fest zu codieren.

Deterministische Fallbacks

Nicht jedes Attribut benötigt KI.

Tatsächlich werden viele Attribute besser durch deterministische Logik gehandhabt.

Numerische Bereiche, einheitenbasierte Werte und einfache Mengen profitieren oft von:

• schnellerer Verarbeitung
• vorhersehbarer Sortierung
• niedrigeren Kosten
• null Mehrdeutigkeit

Die Pipeline erkannte diese Fälle automatisch und verwendete für sie deterministische Logik. Dies hielt das System effizient und vermied unnötige LLM-Aufrufe.

Manuelles vs LLM-Tagging

Händler benötigten noch Kontrolle, insbesondere für geschäftskritische Attribute.

Daher konnte jede Kategorie gekennzeichnet werden als:

• LLM_SORT — das Modell entscheiden lassen
• MANUAL_SORT — Händler definieren die Reihenfolge

Dieses duale Tag-System ermöglicht es Menschen, die endgültigen Entscheidungen zu treffen, während KI den Großteil der Arbeit erledigte. Es baute auch Vertrauen auf, da Händler das Modell bei Bedarf überschreiben konnten, ohne die Pipeline zu unterbrechen.

Persistenz & Kontrolle

Alle Ergebnisse wurden direkt in einer Product MongoDB-Datenbank gespeichert, wodurch die Architektur einfach und zentralisiert blieb.

MongoDB wurde zum einzigen operativen Speicher für:

• sortierte Attributwerte
• verfeinerte Attributnamen
• kategoriebezogene Sort-Tags
• produktbezogene sortOrder-Felder

Dies erleichterte das Überprüfen von Änderungen, Überschreiben von Werten, Wiederaufbereiten von Kategorien und Synchronisieren mit anderen Systemen.

Suchintegration

Nach der Sortierung flossen Werte in:

• Elasticsearch für Keyword-gesteuerte Suche
• Vespa für semantische und vektorbasierte Suche

Dies stellte sicher, dass:

• Filter in logischer Reihenfolge erschienen
• Produktseiten konsistente Attribute anzeigten
• Suchmaschinen Produkte genauer rankten
• Kunden Kategorien leichter durchsuchen konnten

Die Suche ist der Ort, an dem Attributsortierung am sichtbarsten ist und wo Konsistenz am wichtigsten ist.

Architekturübersicht

Um dies über Millionen von SKUs hinweg zum Laufen zu bringen, entwarf ich eine modulare Pipeline, die um Hintergrund-Jobs, KI-Reasoning und Suchintegration herum aufgebaut war. Das untenstehende Architekturdiagramm erfasst den vollständigen Ablauf:

• Produktdaten kommen aus dem Produktinformationssystem
• Der Attribut-Extraktions-Job zieht Attributwerte und Kategoriekontext
• Diese werden an den AI Sorting Service übergeben
• Aktualisierte Produktdokumente werden in die Product MongoDB geschrieben
• Der Outbound Sync Job aktualisiert das Produktinformationssystem mit der Sortierreihenfolge
• Elasticsearch und Vespa Sync Jobs übertragen sortierte Daten in ihre jeweiligen Suchsysteme
• API Services verbinden Elasticsearch und Vespa mit der Client-Anwendung

Dieser Ablauf stellt sicher, dass jeder Attributwert, ob von KI sortiert oder manuell festgelegt, in Suche, Merchandising und Kundenerfahrung reflektiert wird.

Die Lösung in Aktion

So wurden chaotische Werte transformiert:

| Attribut | Rohwerte | Sortierte Ausgabe | |----|----|----| | Größe | XL, Small, 12cm, Large, M, S | Small, M, Large, XL, 12cm | | Farbe | RAL 3020, Crimson, Red, Dark Red | Red, Dark Red, Crimson, Red (RAL 3020) | | Material | Steel, Carbon Steel, Stainless, Stainless Steel | Steel, Stainless Steel, Carbon Steel | | Numerisch | 5cm, 12cm, 2cm, 20cm | 2cm, 5cm, 12cm, 20cm |

Diese Beispiele zeigen, wie die Pipeline kontextuelles Denken mit klaren Regeln kombiniert, um saubere, leicht verständliche Sequenzen zu erstellen.

Warum Offline-Jobs statt Echtzeitverarbeitung?

Echtzeitverarbeitung hätte eingeführt:

• unvorhersehbare Latenz
• höhere Rechenkosten
• fragile Abhängigkeiten
• operative Komplexität

Offline-Jobs gaben uns:

• Stapeleffizienz
• asynchrone LLM-Aufrufe
• Wiederholungslogik und Fehler-Warteschlangen
• menschliche Überprüfungsfenster
• vorhersehbare Rechenausgaben

Der Kompromiss war eine kleine Verzögerung zwischen Datenaufnahme und Anzeige, aber der Vorteil war Konsistenz im großen Maßstab, was Kunden viel mehr schätzen.

Auswirkung

Die Ergebnisse waren signifikant:

• Konsistente Attributsortierung über 3M+ SKUs hinweg
• Vorhersehbare numerische Sortierung über deterministische Fallbacks
• Händlerkontrolle durch manuelles Tagging
• Sauberere Produktseiten und intuitivere Filter
• Verbesserte Suchrelevanz
• Höheres Kundenvertrauen und höhere Conversion

Dies war nicht nur ein technischer Gewinn; es war auch ein Gewinn für Benutzererfahrung und Umsatz.

Gelernte Lektionen

• Hybrid-Pipelines übertreffen reine KI im großen Maßstab. Leitplanken sind wichtig.
• Kontext verbessert die LLM-Genauigkeit dramatisch
• Offline-Jobs sind wesentlich für Durchsatz und Widerstandsfähigkeit
• Menschliche Überschreibungsmechanismen bauen Vertrauen und Akzeptanz auf
• Saubere Eingabe ist die Grundlage für zuverlässige KI-Ausgabe

Abschließender Gedanke

Attributwerte zu sortieren klingt einfach, aber es wird zu einer echten Herausforderung, wenn man es für Millionen von Produkten tun muss.

Durch die Kombination von LLM-Intelligenz mit klaren Regeln und Händlerkontrolle habe ich ein komplexes, verstecktes Problem in ein sauberes, skalierbares System verwandelt.

Es ist eine Erinnerung daran, dass einige der größten Erfolge aus der Lösung der langweiligen Probleme kommen, diejenigen, die leicht zu übersehen sind, aber auf jeder Produktseite auftauchen.

\n \n \n