Egy score drift egy chart-on egy kérdés: mi okozta? Egy score drift egy chart-on, vertikális deploy markerrel, már egy válasz: a múlt kedd 14:23-kor élesedett új prompt verziója. A különbség egy függőleges szaggatott vonal, és ez a függőleges szaggatott vonal a self-learning loop első lépése.
Mit jelölünk
Minden prompt-deployment esemény (egy új prompt_version activate-elése egy tenanten) generál egy sort az eng_prompt_deploy_markers táblában: tenant_id, prompt_slug, version_before, version_after, deployed_at, deployed_by, change_summary. A change_summary egy egysoros ember-leírás, amit a deploy-oló mérnök ad meg — például „Hozzáadtam egy GDPR-disclaimer-t a kimenethez” vagy „Csökkentettem a hallucinációs hajlamot egy Csak a megadott kontextusból válaszolj utasítással”.
A marker NEM a prompt teljes diffje. Ahhoz egy másik tábla (eng_prompt_versions) és egy másik UI (PromptDiffViewer) van. A marker az időbeli horgony — a chartokon ennyi kell, hogy a humán szem a drift-et és a deploy-t összerendelje.
A chart overlay
A MiniChart komponens (megosztott a cockpit minden score-trendelő paneljére) elfogadja a markers propot. Minden marker egy függőleges vonal a deployed_at időpontnál, hover-en tooltip: „Tenant-X / checkout-summary / v17→v18 / 'GDPR-disclaimer added' / [email protected]”. A vonal színe a deploy típusától függ: zöld (tenant-szintű, normál), sárga (platform-szintű, broad impact), piros (revert).
Miért működik a humán szemmel
A score-drift időnként hét nap után indul el — a kibocsátott prompt új viselkedését csak fokozatosan, a usage-pattern erosion-án keresztül érzékeli a rendszer. Egy mérnök, aki a metric-et nézi és nem tudja, mi élesedett, két dolgot tehet: vagy email-archívumot böngész, vagy feltételez. Egyik sem skálázódik. A marker overlay megadja a választ a chartot néző mérnöknek anélkül, hogy elhagyná a panel-t. Az „okot a hatáshoz” összerendelés cognitív költsége ezzel közel nullára esik.
A self-learning loop első lépése
Miért nevezzük ezt a self-learning loop első lépésének? Mert egy ember számára most látható, hogy az új prompt verzió javított-e vagy rontott. A score drift iránya + a deploy marker = döntés. Ha a score esett a deploy után 30 percen belül, a következő lépés a revert (ami szintén egy marker, piros színű). Ha emelkedett, a következő lépés a megfigyelés és a meta-tanulás: mit változtattam a prompton, ami a 7-dim score-t javította?
A következő iterációban (Phase 6) ez automatikusabb: a rendszer maga is jelez, ha egy deploy után 30 percen belül score-esés van. Ezt nevezzük a deploy-driven self-learning loop teljes körévé tételének. Az első körhöz viszont elég, ha a marker ott van, és egy ember nézi.
Implementációs jegyzet
A marker bevezetés a Phase 5δ része volt (BE PR #887 + FE PR #559). A storage-szempont egyszerű (egy tábla), a UI-szempont kevésbé (a Recharts Brush + ReferenceLine kombináció Stack overflow-t indított egy 90-napos ablaknál, ha 200+ marker volt). A megoldás: cluster-elés egy bucket-aggregátorral, ha a marker-sűrűség meghalad 1 markert pixel-szélességenként. Aggregált markeren a tooltip a klaszter összes deploy-át listázza.
Egy múltheti példa
A nortinia-site tenanton a cart-recommendation prompt-ja kedd 11:00-kor v22-re lépett. A semantic_accuracy score 4.1-ről 3.7-re csökkent szerda délutánra. A drill-down 12 perc alatt megmutatta, hogy az új prompt egy ÁFA-számítási utasítást tartalmazott, ami a recommendation szövegét összezavarta. Revert kedd este 18:30-kor (piros marker). A score visszamászott 4.1-re csütörtök reggelre. Marker-overlay nélkül ez a debug 3-5 napos lett volna; markerrel három chart-nézet alatt megvolt.