STS: nowa metoda syntezy danych dla agentów AI w firmach

Nowe badanie opublikowane na arXiv 24 września 2026 roku proponuje metodę generowania danych treningowych dla agentów AI korzystających z narzędzi w środowiskach korporacyjnych, bez konieczności dostępu do rzeczywistych baz danych czy schematów firmowych. Autorzy — Yipeng Li, Ashutosh Hathidara, Jane Lo, Harshavardhan Abichandani, Gunraj Singh i Atin Ghosh — nazwali swoje podejście Synthesis Through Simulation (STS).

Problem, który rozwiązują, jest dobrze znany firmom wdrażającym agentów AI: trenowanie i ewaluacja modeli wykorzystujących narzędzia (tool-calling agents) wymaga dużych zbiorów danych, ale dostęp do rzeczywistych systemów, danych i schematów baz danych przedsiębiorstw jest mocno ograniczony przez przepisy prawne i względy biznesowe.

Kluczowe wnioski

• STS to paradygmat syntezy danych „bez schematu” (schema-free) — agent LLM generuje dane wykonując operacje na API wymuszających określone polityki wewnątrz symulowanych środowisk korporacyjnych.
• Ponieważ dane powstają w tym samym środowisku, które definiuje ich poprawność, STS gwarantuje strukturalną spójność danych „z konstrukcji”, niezależnie od modelowania rozkładu statystycznego.
• Generalist Populator (GP) — uniwersalny agent nieznający konkretnej domeny — osiąga średnią wierność marginalną na poziomie 0,88 oraz 100% zgodności z ograniczeniami we wszystkich dziesięciu testowanych środowiskach.
• Klasyczne syntezatory statystyczne nie działają w siedmiu z dziesięciu środowisk ze względu na konieczność posiadania danych zasiewowych (seed data).
• Agenci korzystający z przywilejowanego dostępu do schematów zawodzą w 82% prób w środowisku lotniczym, gdzie zadania są ściśle powiązane, co pokazuje słabość kruchej kompozycji zadań.

Dlaczego synteza danych dla agentów AI jest problemem

Agenci wywołujący narzędzia stali się kluczowym elementem korporacyjnej AI — odpowiadają m.in. za automatyzację procesów biznesowych, obsługę klienta czy integrację z systemami wewnętrznymi firm. Problem polega na tym, że skalowanie ich trenowania i testowania napotyka bariery wynikające z ograniczeń prawnych i biznesowych dotyczących dostępu do rzeczywistych danych, systemów i struktur baz danych.

Autorzy wskazują, że dotychczasowe podejścia mają fundamentalne słabości. Synteza danych tabelarycznych jest ograniczona przez wymóg strukturalnej poprawności oraz dostępności schematów bazy danych. Z drugiej strony metody oparte na procedurach — czyli ręcznie definiowanych regułach generowania danych — mają odwrotny problem: zazwyczaj brakuje im wierności rozkładu statystycznego, jeśli nie są tworzone osobno dla każdej domeny, co czyni je kosztowne i trudne do skalowania.

Jak działa Synthesis Through Simulation

STS rozwiązuje ten konflikt poprzez oddzielenie dwóch problemów, które wcześniej były ze sobą splecione: wymuszania poprawności danych i modelowania ich rozkładu. Agent LLM generuje dane wykonując konkretne operacje na API, które same wymuszają zgodność z politykami danego środowiska. Ponieważ środowisko, w którym powstają dane, jest jednocześnie tym, które definiuje, co jest poprawne, strukturalna walidność jest gwarantowana z samej konstrukcji systemu — nie trzeba jej dodatkowo sprawdzać po fakcie.

Dzięki temu rozdzieleniu problem wierności rozkładu statystycznego i skalowalności syntezy może być rozwiązywany niezależnie. Właśnie tym zajmuje się Generalist Populator (GP) — domenowo-niezależny agent zaproponowany przez autorów, który stanowi serce metody STS.

Wyniki testów są jednoznaczne: GP osiąga średnią wierność marginalną 0,88 i 100% zgodności z ograniczeniami we wszystkich dziesięciu badanych środowiskach — i robi to bez dostępu do schematów baz danych. Dla porównania, statystyczne syntezatory danych okazały się niemożliwe do zastosowania w siedmiu z dziesięciu środowisk, ponieważ wymagają danych zasiewowych, których po prostu nie było. Jeszcze bardziej wymowny jest wynik dotyczący agentów ze „schema-privilege” — czyli z uprzywilejowanym dostępem do struktur bazy danych. W środowisku symulującym linie lotnicze, gdzie procesy są ściśle powiązane ze sobą (tightly coupled workflows), takie agenty zawodziły w 82% prób, co autorzy przypisują „kruchej kompozycji zadań” — innymi słowy, nawet znajomość schematu nie chroni przed błędami, gdy zależności między operacjami są złożone.

Znaczenie dla trenowania agentów korporacyjnych

Wyniki badania mają istotne implikacje dla firm budujących i wdrażających agentów AI w środowiskach korporacyjnych. Pokazują, że podejście symulacyjne może zastąpić zarówno klasyczną syntezę tabelaryczną, wymagającą dostępu do schematów, jak i procedury pisane ręcznie dla każdej domeny z osobna — co wcześniej było kosztowną barierą skalowania.

Fakt, że GP radzi sobie lepiej niż agenci z przywilejowanym dostępem do schematów w złożonych, wzajemnie powiązanych workflow'ach, sugeruje też, że sama znajomość struktury danych nie wystarcza do generowania realistycznych, użytecznych zbiorów treningowych — liczy się raczej sposób, w jaki agent interaguje z systemem wymuszającym reguły. To może mieć znaczenie dla szerszego trendu rozwoju agentów AI dla firm, które muszą radzić się z ograniczonym dostępem do rzeczywistych danych produkcyjnych.

Autorzy zdecydowali się udostępnić cały framework, wszystkie dziesięć środowisk testowych oraz wygenerowane zbiory danych w otwartym dostępie, co pozwoli innym badaczom i firmom na weryfikację oraz dalsze rozwijanie metody STS.

Podsumowanie

Synthesis Through Simulation pokazuje, że da się generować wiarygodne dane korporacyjne do trenowania agentów AI bez dostępu do rzeczywistych schematów baz danych — osiągając wysoką wierność statystyczną i pełną zgodność ze strukturalnymi ograniczeniami. To podejście może przełamać jedną z kluczowych barier w rozwoju korporacyjnej AI, czyli ograniczony dostęp do danych firmowych ze względów prawnych i biznesowych.