Kontextus-méret
4k, 16k, 128k, 1M — a kérés mérete alapján a megfelelő window-jú model.
AI model routing — mi alapján dönt?
A Nortinia AI model routing négy szempont alapján dönt: kontextus-méret (mely model bírja), latency-igény (real-time vs batch), ár (token cost) és accuracy (eval-set alapján mért).
A routing policy explicit (rule-based, te állítod) és implicit (ML-alapú, eval-set tanítja). Mindkettő kombinálható, és minden döntés audit-trail-elt.
Routing dimenziók
Mi alapján választ modellt az Engine?
Latency-igény
Real-time chat vs. batch task — modell kiválasztása response time alapján.
Token ár
Per-request cost optimization. Olcsóbb model olcsóbb kérdésekre.
Accuracy
Eval-set alapján mért pontosság. Magasabb accuracy igényű kérdéshez magasabb model.
Folyamat
Hogyan néz ki egy AI model routing pipeline?
01
Kérés érkezik
HTTP endpoint vagy SDK call. Token-count + context tagging.
02
Policy match
Rule-based: ha "/chat" → preferred small model. Ha kontextus > 32k → large window.
03
Eval feedback
Confidence + accuracy score — ha low, eskaláció nagyobb modellhez.
04
Audit
Decision log: melyik prompt, melyik model, ár, latency, fallback?
Gyakori kérdések
AI model routing — gyakori kérdések
Mit jelent a "per-request" routing?
Minden egyes API hívásnál a Nortinia Engine kiválasztja a megfelelő modellt — nem session vagy user szinten, hanem kérésenként.
Tudjuk-e felülírni a routing döntést?
Igen. A SDK / HTTP header-rel forced model paraméter — pl. `x-nortinia-model: claude-opus`. Auditban látszik mint manual override.
Mi történik provider outage esetén?
Automatikus fallback a következő provider-re a fallback chain alapján. Pl. anthropic-claude-haiku → openai-gpt-4o-mini → llama-3-8b on-prem.
Tudunk-e saját modellt routing-ba illeszteni?
Igen. Custom HTTP endpoint (OpenAI-compatible vagy egyedi protokoll) regisztrálható model provider-ként.
Routing a te policy-d szerint
Mutatjuk az AI model routing-ot a saját adataidon.
30 perces architektúra workshop, policy-tervezés, eval-becslés a végén.