Agent umelej inteligencie v produkcii.

Najdôležitejšie závery

• Agent umelej inteligencie v produkčnom prostredí je služba zložená z modelu, znalostí, nástrojov, integrácie a pravidiel prevádzky.
• Dostupnosť aplikácie ešte neznamená, že agent je pripravený na správne fungovanie.
• Spotreba by sa mala pripísať konkrétnemu modelu, aplikácii, integrácii a obchodnému procesu.
• Technické monitorovanie musí byť spojené s hodnotením kvality a hodnoty výkonu agenta.
• Mendix 11.13 ukazuje, že platformy agentov začínajú budovať mechanizmy potrebné na operačnú správu agentov.

Od pilotného projektu po produkciu sa definícia úspechu mení

V pilotnom projekte úspech často znamená správne zodpovedanie pripravenej sady otázok. V produkčnom prostredí agent pracuje v meniacom sa prostredí. Modely sa aktualizujú, znalostné bázy rastú, pripojenia k systémom môžu vypršať a nástroje, ktoré agent aktivuje, závisia od dostupnosti iných služieb.

Preto by sa s agentom umelej inteligencie nemalo zaobchádzať ako s jedným modelom. Je to zloženie mnohých prvkov:

• jazykový model alebo niekoľko modelov vybraných pre rôzne úlohy,
• pokyny a pravidlá určujúce, ako konať,
• znalostná základňa alebo iné kontextové zdroje,
• nástroje, ktoré vykonávajú operácie v obchodných systémoch,
• integrácia, mechanizmy autentifikácie a povolenia,
• rozhranie, pracovný postup a body ľudskej kontroly.

Ide o rozšírenie širšieho fenoménu, v ktorom sa dátová architektúra stáva základom pre agentov umelej inteligencie . Keď je agentovi udelené právo konať, architektúra mu musí poskytnúť nielen prístup, ale aj aktuálny kontext, príslušné povolenia a možnosť spätného sledovania operácie.

Pilier 1: stav agenta závisí od celého reťazca závislostí

Štandardné monitorovanie aplikácií primárne odpovedá na otázku, či je služba funkčná. Pre agenta s umelou inteligenciou to nestačí. Rozhranie môže byť prístupné, ale produkčná verzia nemusí mať správne prepojený model, znalostnú bázu alebo nástroj.

Mendix 11.13 zaviedol pravidelnú kontrolu stavu verzií agentov používaných v produkčnom prostredí. Tento mechanizmus pomáha odhaliť chýbajúce prepojenia s modelom, znalostnou bázou alebo nástrojom založeným na mikroflow. Táto kontrola sa vykonáva v prehľade agenta a možno ju použiť aj na označenie verzie ako aktívnej.

Čo sa oplatí sledovať?

• Modelka: dostupnosť, správna konfigurácia a súlad s očakávanou úlohou.
• Vedomostná základňa: dostupnosť zdroja, platnosť indexu a schopnosť načítať kontext.
• Nástroje: správnosť pripojení, oprávnení a schopnosť vykonávať operácie.
• Verzia agenta: úplnosť závislosti predtým, ako je povolené jej použitie.
• Obchodný tok: schopnosť dokončiť proces, nielen vygenerovať odpoveď.

Pilier 2: Náklady agenta musia mať vlastníka a kontext

Celkový počet tokenov alebo volaní API naznačuje rozsah používania, ale nevysvetľuje základnú príčinu. Ak viacero aplikácií a integrácií používa jeden zdroj GenAI, jeden agregovaný graf neodpovie na kľúčové prevádzkové otázky:

• ktorý model je zodpovedný za nárast spotreby,
• ktorá aplikácia alebo integrácia generuje najviac hovorov,
• či je skok spôsobený skutočným nárastom používania, chybnou slučkou alebo nesprávnym scenárom,
• či sú náklady úmerné hodnote procesu.

V Mendix 11.13 je možné zobrazenie využitia zdrojov GenAI filtrovať podľa modelu a kľúča zdroja. Kľúč umožňuje oddeliť aktivitu pre konkrétne aplikácie alebo integrácie a filtre zahŕňajú entity GenAI, vstupné a výstupné tokeny a volania API.

AgentOps nenahrádza sledovateľnosť údajov.

Kontroly stavu agenta neriešia problémy s kvalitou informácií, s ktorými agent pracuje. Je možné, že všetky pripojenia fungujú správne, ale znalostná báza obsahuje zastarané dokumenty alebo údaje použité v procese sú neúplné.

Preto by sa monitorovanie agentov malo kombinovať s pozorovateľnosťou údajov . Prvá vrstva ukazuje, či má agent kompletnú sadu závislostí a či dokáže úlohu dokončiť. Druhá pomáha určiť, či sú informácie, ktoré sú základom jeho rozhodnutí, aktuálne, konzistentné a sledovateľné.

Iba kombináciou týchto perspektív dokážeme rozlíšiť technické zlyhanie od problému s údajmi, znalosťami alebo logikou procesu.

Aké metriky by mal AgentOps zahŕňať?

Neexistuje jednotný univerzálny súbor metrík pre všetkých agentov. Pre asistenta znalostí, agenta pre riešenie sťažností a ďalšie pre riešenie, ktoré iniciuje proces údržby, budú dôležité rôzne kritériá. Oplatí sa však zabudovať meranie naprieč štyrmi vrstvami.

1. Technický stav

Dostupnosť modelu, znalostí, nástrojov a integrácií, počet neúspešných volaní, čas odozvy a úplnosť konfigurácie aktívnej verzie.

2. Spotreba zdrojov

Vstupné a výstupné tokeny, počet volaní API, využitie jednotlivých modelov a náklady priradené aplikácii, integrácii alebo procesu.

3. Kvalita prevádzky

Percento správne dokončených úloh, počet eskalácií na človeka, prípady použitia nesprávneho nástroja, opakované pokusy a rozhodnutia zrušené po overení.

4. Obchodná hodnota

Čas vykonávania procesu, úroveň dosiahnutia SLA, počet prípadov vybavených bez manuálneho prenosu, skrátenie pracovného času špecialistov a jednotkové náklady na dokončenú úlohu.

Agent môže byť technicky dostupný, no komerčne neefektívny. Preto by poslednou vrstvou monitorovania mal byť vždy výsledok procesu.

Kto by mal byť zodpovedný za agenta v produkcii?

Agent AI prekračuje tradičné hranice zodpovednosti. Aplikačný tím spravuje rozhranie a pracovný postup. Dátový tím je zodpovedný za kvalitu a dostupnosť informácií. Vlastník procesu definuje očakávaný výsledok. Bezpečnosť riadi povolenia a finančný tím sa snaží pochopiť používanie.

Preto je pred spustením živého vysielania dobré priradiť aspoň štyri role:

• majiteľ firmykto je zodpovedný za cieľ a kritériá úspechu,
• technický vlastník, ktorý je zodpovedný za konfiguráciu, implementáciu a závislosti,
• vlastník údajov alebo znalostí, ktorý je zodpovedný za kvalitu a aktuálnosť kontextu,
• vlastník operačnej reakcieKtovie, čo robiť po poplachu alebo nesprávnom rozhodnutí.

Tento prístup sa dobre hodí k Mendixu ako low-code platforme na vytváranie obchodných aplikácií . Agent môže pracovať v rámci aplikácie, čerpať z doménového modelu, znalostí a nástrojov a jeho výstup je možné začleniť do pracovného postupu riadeného človekom.

Od pilota k AgentOps v piatich krokoch

1. Definujte jednotku hodnoty. Určte, ktorá dokončená úloha alebo rozhodnutie má obchodný význam.
2. Závislosti mapy. Uveďte modely, zdroje znalostí, nástroje, integrácie, povolenia a prvky pracovného postupu.
3. Zadajte identifikáciu spotreby. Samostatné kľúče alebo iné identifikátory, aby bolo možné náklady priradiť k aplikácii a procesu.
4. Definujte alarmy a reakcie. Samotné upozornenie nestačí. Každý kritický signál by mal mať vlastníka a postup.
5. Kombinujte telemetriu s procesným výstupom. Porovnajte náklady a výkon agenta s kvalitou, dobou vybavenia a obchodným dopadom.

Integrálna analýza

Najdôležitejšou zmenou nie je vznik ďalšieho dashboardu spotreby alebo konfiguračného ovládania. Dôležité je, že platformy začínajú s agentom zaobchádzať ako so súčasťou produkčnej infraštruktúry, ktorá vyžaduje pozorovateľnosť, kontrolu nákladov a správu verzií.

Veríme, že organizácie by mali tieto mechanizmy navrhnúť v pilotnej fáze. Tým sa predíde situácii, keď sa úspešný experiment zavedie do obchodného procesu bez zodpovedania základných otázok: kto je zodpovedný za jeho stav, ako odhalíme nedostatky, ako vieme, čo generuje náklady a kedy by mal agent delegovať rozhodnutia na človeka?

Mendix 11.13 je dobrým znamením, že táto oblasť dozrieva. Riadenie verzií agentov a presnejšia alokácia zdrojov síce neriešia celú problematiku AgentOps, ale vytvárajú praktický základ pre budovanie agentových aplikácií, ktoré je možné rýchlo nasadiť a zároveň zodpovedne udržiavať.

Poďme sa porozprávať o AgentOps a aplikáciách produkčných agentov

Zaujíma vás, ako monitorovať závislosti agentov, priraďovať použitie aplikáciám a procesom a plánovať reakciu na problémy? Zanechajte nám svoje kontaktné informácie a my sa vám ozveme s návrhom konverzácie prispôsobeným situácii vašej organizácie.

Často kladené otázky

Zdroje

• Mendix, Verzia Mendix 11.13, 28. júla 2026