Pilota agenta AI można uruchomić szybko. Wystarczy model, prompt, dostęp do bazy wiedzy i kilka narzędzi. Produkcja zaczyna się jednak tam, gdzie kończy się demonstracja. Agent staje się częścią procesu, korzysta z zasobów organizacji, generuje koszty i może wpływać na decyzje podejmowane przez ludzi.
Wtedy pytanie „czy agent odpowiada?” przestaje wystarczać. Trzeba wiedzieć, czy wszystkie jego zależności działają, która aplikacja zużywa zasoby, skąd bierze się wzrost kosztów, kto reaguje na problem i czy agent faktycznie realizuje cel biznesowy.
AgentOps to praktyki operacyjnego zarządzania agentami AI w całym cyklu ich działania. Nie jest to nazwa pojedynczego produktu ani funkcji. To sposób myślenia, który łączy obserwowalność, kontrolę kosztów, zarządzanie zależnościami, bezpieczeństwo i odpowiedzialność biznesową.
Najważniejsze wnioski
- Agent AI w produkcji jest usługą złożoną z modelu, wiedzy, narzędzi, integracji i reguł działania.
- Dostępność aplikacji nie oznacza jeszcze, że agent jest gotowy do poprawnej pracy.
- Zużycie należy przypisywać do konkretnego modelu, aplikacji, integracji i procesu biznesowego.
- Monitoring techniczny trzeba połączyć z oceną jakości oraz wartości działania agenta.
- Mendix 11.13 pokazuje, że platformy agentowe zaczynają wbudowywać mechanizmy potrzebne do operacyjnego zarządzania agentami.
Od pilota do produkcji zmienia się definicja sukcesu
W pilotażu sukcesem jest często poprawna odpowiedź na przygotowany zestaw pytań. W środowisku produkcyjnym agent działa w zmiennym otoczeniu. Modele są aktualizowane, bazy wiedzy rosną, połączenia z systemami mogą wygasać, a narzędzia wywoływane przez agenta zależą od dostępności innych usług.
Dlatego agent AI nie powinien być traktowany jak pojedynczy model. Jest kompozycją wielu elementów:
- modelu językowego lub kilku modeli dobranych do różnych zadań,
- promptów i reguł określających sposób działania,
- bazy wiedzy lub innych źródeł kontekstu,
- narzędzi realizujących operacje w systemach biznesowych,
- integracji, mechanizmów uwierzytelniania i uprawnień,
- interfejsu, workflow i punktów kontroli człowieka.
To rozwinięcie szerszego zjawiska, w którym architektura danych staje się fundamentem dla agentów AI. Gdy agent otrzymuje prawo do działania, architektura musi zapewnić mu nie tylko dostęp, ale także aktualny kontekst, właściwe uprawnienia i możliwość odtworzenia przebiegu operacji.
Filar 1: kondycja agenta zależy od całego łańcucha zależności
Standardowy monitoring aplikacji odpowiada przede wszystkim na pytanie, czy usługa działa. Dla agenta AI to za mało. Interfejs może być dostępny, a jednocześnie wersja używana produkcyjnie może nie mieć poprawnie podłączonego modelu, bazy wiedzy albo narzędzia.
W Mendix 11.13 pojawiła się cykliczna kontrola kondycji wersji agentów używanych produkcyjnie. Mechanizm pomaga wykrywać brakujące powiązania z modelem, bazą wiedzy lub narzędziem opartym na microflow. Kontrola jest wykonywana na przeglądzie agentów i może być również wykorzystana przy oznaczaniu wersji jako aktywnej.
Gotowość agenta trzeba oceniać na poziomie całej konfiguracji, nie tylko jednego komponentu.
Co warto monitorować?
- Model: dostępność, poprawność konfiguracji i zgodność z oczekiwanym zadaniem.
- Baza wiedzy: dostępność źródła, aktualność indeksu i możliwość pobrania kontekstu.
- Narzędzia: poprawność połączeń, uprawnienia oraz możliwość wykonania operacji.
- Wersja agenta: kompletność zależności przed dopuszczeniem jej do użycia.
- Przepływ biznesowy: możliwość zakończenia procesu, a nie tylko wygenerowania odpowiedzi.
Filar 2: koszt agenta musi mieć właściciela i kontekst
Łączna liczba tokenów lub wywołań API pokazuje skalę wykorzystania, ale nie wyjaśnia przyczyny. Jeżeli z jednego zasobu GenAI korzysta kilka aplikacji i integracji, zbiorczy wykres nie odpowie na najważniejsze pytania operacyjne:
- który model odpowiada za wzrost zużycia,
- która aplikacja lub integracja generuje najwięcej wywołań,
- czy skok wynika z realnego wzrostu użycia, błędnej pętli czy niewłaściwego scenariusza,
- czy koszt jest proporcjonalny do wartości procesu.
W Mendix 11.13 widok wykorzystania zasobów GenAI można filtrować według modelu oraz klucza zasobu. Klucz pozwala rozdzielić aktywność konkretnych aplikacji lub integracji, a filtry obejmują jednostki GenAI, tokeny wejściowe i wyjściowe oraz wywołania API.
To przenosi rozmowę z poziomu „ile kosztuje AI?” na bardziej użyteczny poziom: który przypadek użycia generuje koszt i jaki efekt biznesowy za nim stoi?
AgentOps nie zastępuje obserwowalności danych
Kontrola kondycji agenta nie rozwiązuje problemów z jakością informacji, na których agent pracuje. Możliwa jest sytuacja, w której wszystkie połączenia działają poprawnie, ale baza wiedzy zawiera nieaktualne dokumenty albo dane użyte w procesie są niepełne.
Dlatego monitoring agenta powinien być połączony z obserwowalnością danych. Pierwsza warstwa pokazuje, czy agent ma komplet zależności i może wykonać zadanie. Druga pomaga ustalić, czy informacje zasilające jego decyzje są aktualne, spójne i możliwe do prześledzenia.
Dopiero połączenie tych perspektyw pozwala odróżnić awarię techniczną od problemu z danymi, wiedzą albo logiką procesu.
Jakie mierniki powinien obejmować AgentOps?
Nie istnieje jeden uniwersalny zestaw mierników dla wszystkich agentów. Inne kryteria będą ważne dla asystenta wiedzy, inne dla agenta obsługującego reklamację, a jeszcze inne dla rozwiązania uruchamiającego proces utrzymania ruchu. Warto jednak budować pomiar w czterech warstwach.
1. Kondycja techniczna
Dostępność modelu, wiedzy, narzędzi i integracji, liczba nieudanych wywołań, czas odpowiedzi oraz kompletność konfiguracji aktywnej wersji.
2. Zużycie zasobów
Tokeny wejściowe i wyjściowe, liczba wywołań API, wykorzystanie poszczególnych modeli oraz koszt przypisany do aplikacji, integracji lub procesu.
3. Jakość działania
Odsetek zadań zakończonych poprawnie, liczba eskalacji do człowieka, przypadki użycia niewłaściwego narzędzia, powtarzane próby i decyzje cofnięte po weryfikacji.
4. Wartość biznesowa
Czas realizacji procesu, poziom osiągnięcia SLA, liczba spraw obsłużonych bez ręcznego przekazywania, skrócenie czasu pracy specjalisty oraz koszt jednostkowy zakończonego zadania.
Agent może być technicznie dostępny i jednocześnie biznesowo nieskuteczny. Dlatego ostatnią warstwą monitoringu zawsze powinien być wynik procesu.
Kto powinien odpowiadać za agenta w produkcji?
Agent AI przecina tradycyjne granice odpowiedzialności. Zespół aplikacyjny utrzymuje interfejs i workflow. Zespół danych odpowiada za jakość oraz dostępność informacji. Właściciel procesu definiuje oczekiwany wynik. Bezpieczeństwo kontroluje uprawnienia, a finanse chcą rozumieć zużycie.
Dlatego przed uruchomieniem produkcyjnym warto przypisać co najmniej cztery role:
- właściciela biznesowego, który odpowiada za cel i kryteria sukcesu,
- właściciela technicznego, który odpowiada za konfigurację, wdrożenia i zależności,
- właściciela danych lub wiedzy, który odpowiada za jakość i aktualność kontekstu,
- właściciela reakcji operacyjnej, który wie, co zrobić po alarmie lub nieprawidłowej decyzji.
Takie podejście dobrze współgra z Mendix jako platformą low-code do budowy aplikacji biznesowych. Agent może działać wewnątrz aplikacji, korzystać z modelu domenowego, wiedzy i narzędzi, a jego wynik może zostać włączony w workflow z kontrolą człowieka.
Od pilota do AgentOps w pięciu krokach
- Zdefiniuj jednostkę wartości. Ustal, jakie zakończone zadanie lub decyzja ma znaczenie biznesowe.
- Zmapuj zależności. Wymień modele, źródła wiedzy, narzędzia, integracje, uprawnienia i elementy workflow.
- Wprowadź identyfikację zużycia. Rozdziel klucze lub inne identyfikatory tak, aby koszt można było przypisać do aplikacji i procesu.
- Zdefiniuj alarmy oraz reakcje. Sam alert nie wystarczy. Każdy krytyczny sygnał powinien mieć właściciela i procedurę działania.
- Połącz telemetrię z wynikiem procesu. Porównuj koszt i kondycję agenta z jakością, czasem realizacji oraz efektem biznesowym.
Integral Analysis
Najważniejszą zmianą nie jest pojawienie się kolejnego panelu zużycia czy kontroli konfiguracji. Istotne jest to, że platformy zaczynają traktować agenta jako element infrastruktury produkcyjnej, który wymaga obserwowalności, kontroli kosztów i zarządzania wersją.
Naszym zdaniem organizacje powinny projektować te mechanizmy już na etapie pilota. Pozwala to uniknąć sytuacji, w której udany eksperyment trafia do procesu biznesowego bez odpowiedzi na podstawowe pytania: kto odpowiada za jego kondycję, jak wykrywamy brak zależności, skąd wiemy, co generuje koszt i kiedy agent powinien przekazać decyzję człowiekowi.
Mendix 11.13 jest dobrym sygnałem dojrzewania tego obszaru. Kontrola wersji agentów i dokładniejsze przypisywanie wykorzystania zasobów nie rozwiązują całego AgentOps, ale tworzą praktyczny fundament do budowy aplikacji agentowych, które można nie tylko szybko wdrożyć, lecz także odpowiedzialnie utrzymywać.
Planujesz przejście od pilota do produkcyjnej aplikacji agentowej?
Porozmawiajmy o architekturze, miernikach, integracjach i punktach kontroli potrzebnych do bezpiecznego skalowania rozwiązania.
Porozmawiajmy o AgentOps i produkcyjnych aplikacjach agentowych
Zastanawiasz się, jak monitorować zależności agenta, przypisywać zużycie do aplikacji i procesów oraz zaplanować reakcję na problemy? Zostaw kontakt. Wrócimy z propozycją rozmowy dopasowaną do sytuacji Twojej organizacji.
Najczęściej zadawane pytania
Co to jest AgentOps?
AgentOps to zestaw praktyk służących do operacyjnego zarządzania agentami AI. Obejmuje monitoring zależności, zużycia, jakości działania, bezpieczeństwa, reakcji na problemy i wartości biznesowej.
Czy AgentOps jest tym samym co MLOps?
Nie. MLOps koncentruje się na cyklu życia modeli uczenia maszynowego. AgentOps obejmuje dodatkowo prompty, bazy wiedzy, narzędzia, integracje, workflow, działania podejmowane przez agenta i punkty kontroli człowieka.
Jak monitorować agenta AI w produkcji?
Monitoring powinien łączyć kondycję modelu, wiedzy, narzędzi i integracji z pomiarem tokenów, wywołań API, jakości zakończonych zadań, eskalacji i efektu biznesowego.
Jak Mendix wspiera zarządzanie agentami AI?
Mendix umożliwia budowę agentów jako części modelu aplikacji. W wersji 11.13 dodano między innymi cykliczną kontrolę brakujących zależności wersji produkcyjnych oraz filtrowanie wykorzystania zasobów GenAI według modelu i klucza przypisanego do aplikacji lub integracji.
Od czego zacząć wdrożenie AgentOps?
Od zdefiniowania wyniku biznesowego i pełnej mapy zależności agenta. Następnie należy wprowadzić identyfikację zużycia, alarmy z przypisanymi właścicielami oraz mierniki jakości i wartości procesu.
Źródła
- Mendix, Mendix Release 11.13, 28 lipca 2026 r.
