LLM gateway — multi-provider AI API egy interfész mögött

Mit jelent ez

LLM gateway — egységes API minden provider mögé.

Az LLM gateway egy közös HTTP interfész több AI provider mögött (OpenAI, Anthropic, Google, Mistral, open-source, on-prem). A fejlesztő egy SDK-t használ — a routing, auth és audit szerveroldalon történik.

A Nortinia LLM gateway OpenAI-kompatibilis API-t kínál: meglévő OpenAI SDK call-okat lecserélheted egy base URL módosítással, és a Nortinia Engine átveszi a routing-ot, rate limit-et és az audit-trail-t.

Gateway funkciók

Mit ad egy LLM gateway?

01

OpenAI-kompatibilis API

A meglévő OpenAI SDK-d változatlanul működik — csak base URL csere.

02

Auth és tenant-szigetelés

API key, OAuth, mTLS. Multi-tenant kvóta + cost-allocation.

03

Rate limit + queue

Provider per-key limit + tenant limit + global cap. Túlcsordulás esetén queue.

04

Audit-trail

Minden API hívás naplózott: ki, mikor, melyik prompt, melyik provider, ár.

Integráció

Hogyan illeszkedik a meglévő stackbe?

01

Base URL csere

OpenAI SDK: `baseURL = "https://engine.nortinia.com/v1"`. Done.

02

API kulcs

Nortinia kulcs a saját kulcs helyett. Provider kulcsokat te kezeled (vagy bízod ránk).

03

Policy beállítás

Routing rule-ok, fallback chain, tenant kvóták a dashboard-on.

04

Élesítés

Élő dashboard, eval, drift detection. SLA monitoring.

Kapcsolódó Nortinia / Netorigo megoldások

Mire épül és mihez illeszkedik

Nortinia Engine — termék főoldal

Az AI motor főoldala: működés, dashboard, API.

Fejlesztői dokumentáció

API, SDK, routing pipeline, agent architecture leírása.

Nortinia AI Assistant — fogyasztói és vállalati asszisztens réteg

Beágyazható AI asszisztens — a Nortinia Engine motorral.

NIP Platform — infrastruktúra és deployment

Self-hosted infrastruktúra az Engine futtatásához.

Gyakori kérdések

LLM gateway — gyakori kérdések

Tényleg csak base URL csere?

Igen. OpenAI SDK chat.completions.create() változatlanul működik. A streaming + tool-calling protokoll szintén támogatott. Egyetlen sornyi kód-változás.

Saját provider kulcsokat hozhatok?

Igen. BYO (bring-your-own) kulcs: a Nortinia Engine a te OpenAI / Anthropic kulcsodat használja, és csak a routing + audit-t adja. Alternatívaként mi adunk shared kulcsokat per-token díjjal.

Milyen rate limit modellek vannak?

Per-API-key, per-tenant, per-model + global. Túlcsordulás esetén queue (FIFO) vagy 429 — konfigurálható.

Tenant-szinten hogyan különül el a billing?

Minden API hívás tenant-tagged. A dashboard tenant-szintű cost report-ot ad. Stripe integráció a usage-alapú számlázáshoz.

Egy gateway minden mögé

Mutatjuk az LLM gateway-t a saját AI app-odon.

30 perces integrációs workshop, base URL csere, élő dashboard a végén.

Beszéljünk a megoldásról API reference