GxP-Agent: agenci AI z topologią DAG dla badań klinicznych

Nowe badanie opublikowane na arXiv przez Jaime Yana ujawnia, że programowanie badań klinicznych — proces przekształcania protokołów badawczych w gotowe do analizy zbiory danych zgodne ze standardami CDISC — pozostaje twardym orzechem do zgryzienia dla systemów opartych na dużych modelach językowych. Autor pokazuje, że pojedyncze zapytania do pięciu najnowocześniejszych modeli AI kończą się całkowitą porażką, i proponuje rozwiązanie: system wieloagentowy GxP-Agent, który koduje kolejność regulacyjnych procesów jako grafy skierowane bez cykli (DAG).

Problem ma realne znaczenie biznesowe i regulacyjne — programowanie danych klinicznych jest wąskim gardłem w procesie składania dokumentacji do regulatorów, takich jak FDA. Automatyzacja tego etapu przy pomocy AI mogłaby znacząco przyspieszyć zatwierdzanie nowych terapii, ale dotychczasowe podejścia okazują się niewystarczające.

Kluczowe wnioski

• W 11 próbach z pięcioma najnowocześniejszymi modelami LLM w trybie „single-shot” żaden nie wygenerował poprawnego zbioru danych na poziomie pacjenta.
• GxP-Agent dekomponuje generowanie zbioru danych na 15 wyspecjalizowanych węzłów wykonywanych przez agentów-pracowników z dostępem do kontekstu pharmaverse, bramkami walidacyjnymi i mechanizmem warunkowego powtarzania.
• Na nowym benchmarku CDISC-Bench, zbudowanym na bazie pilotażowego zgłoszenia FDA CDISCPilot01 (254 pacjentów, 49 referencyjnych zmiennych ADSL), GxP-Agent z Claude Sonnet 4.6 osiągnął 100% zgodności strukturalnej w trzech niezależnych przebiegach.
• Najlepszy baseline oparty na wyszukiwaniu wspomaganym (retrieval-augmented) osiągnął jedynie 59,2% zgodności, a wszystkie podejścia jednoagentowe i „płaskie” wieloagentowe – 0%.
• Topologia DAG podniosła skuteczność nawet słabszego modelu GPT-4.1 do 59,2% średniej zgodności strukturalnej, w porównaniu do 0% w każdej innej architekturze testowanej z tym modelem.

Dlaczego pojedyncze modele zawodzą

Autor przetestował pięć najnowocześniejszych modeli językowych w konfiguracji jednorazowego zapytania (single-shot), prosząc je o wygenerowanie zbioru danych analizy na poziomie pacjenta na podstawie protokołu badania klinicznego. Wynik był jednoznaczny: w żadnym z 11 przeprowadzonych testów żaden model nie wyprodukował poprawnego, zgodnego z wymogami CDISC zbioru danych.

Ten wynik pokazuje fundamentalny problem – programowanie danych klinicznych wymaga nie tylko umiejętności kodowania, ale przede wszystkim ścisłego, wieloetapowego procesu regulacyjnego, którego kolejność i logiczne zależności są kluczowe. Same rozumowanie modelu językowego, bez zewnętrznej struktury procesu, okazuje się niewystarczające do wygenerowania danych spełniających standardy GxP (Good Practice) obowiązujące w branży farmaceutycznej.

Architektura GxP-Agent: proces jako graf

Zamiast liczyć na to, że model „sam wymyśli”, jak powinien wyglądać proces tworzenia zbioru danych, GxP-Agent koduje regulacyjną kolejność działań jako graf skierowany bez cykli (DAG). Monolityczne zadanie generowania całego zbioru danych zostaje rozłożone na 15 wyspecjalizowanych węzłów domenowych, z których każdy realizowany jest przez odrębnego agenta-pracownika.

Kluczowe elementy tej architektury obejmują:

• Kontekst umiejętności pharmaverse dostarczany agentom pracującym w poszczególnych węzłach.
• Bramki walidacyjne sprawdzające poprawność wyników na każdym etapie procesu.
• Mechanizm warunkowego powtarzania (conditional retry), który pozwala systemowi naprawiać błędy zamiast przechodzić dalej z niewłaściwymi danymi.

Ten sposób organizacji pracy agentów przypomina koncepcje opisywane w innych badaniach nad zarządzaniem procesami wieloagentowymi, gdzie odpowiednia struktura i mechanizmy kontrolne decydują o stabilności całego systemu — podobne wnioski płyną z badań nad governance w rozmowach agentów LLM, które pokazują, że sama moc modelu nie wystarcza bez odpowiedniej architektury nadzorczej.

Wyniki testów: CDISC-Bench i generalizacja na inne dane

Aby ocenić skuteczność systemu, autor zbudował nowy benchmark oparty na wykonaniu zadań – CDISC-Bench – wykorzystujący pilotażowe zgłoszenie FDA CDISCPilot01, obejmujące 254 pacjentów oraz 49 referencyjnych zmiennych ADSL (Analysis Dataset Subject Level).

Wyniki testów są wyraźne. GxP-Agent działający na modelu Claude Sonnet 4.6 osiągnął 100% zgodności strukturalnej – wszystkie 49 zmiennych i wszystkie 254 rekordy zostały poprawnie wygenerowane – i powtórzył ten wynik w trzech niezależnych przebiegach. Dla porównania, najlepsza metoda bazowa wykorzystująca wyszukiwanie wspomagane (retrieval-augmented) osiągnęła 59,2% zgodności, a wszystkie podejścia jednoagentowe oraz „płaskie” (bez struktury procesu) wieloagentowe – 0%.

Co istotne, topologia DAG okazała się kluczowa nie tylko dla najsilniejszych modeli. GPT-4.1, osadzony w tej samej strukturze DAG, osiągnął średnio 59,2% zgodności strukturalnej – podczas gdy pod każdą inną testowaną architekturą uzyskiwał 0%. To wskazuje, że sama struktura procesu, a nie moc obliczeniowa czy „inteligencja” modelu, jest głównym czynnikiem decydującym o sukcesie zadania.

System udowodnił też swoją generalizację. Przetestowany na danych dotyczących zdarzeń niepożądanych (ADAE) – z dziewięcio-węzłowym, rozgałęzionym grafem DAG, 55 zmiennymi i 1191 rekordami – GxP-Agent osiągnął 100% zgodności strukturalnej już w pierwszej próbie, bez konieczności wielokrotnych powtórzeń czy dostrajania.

Znaczenie dla przemysłu farmaceutycznego

Wnioski płynące z badania są jasne: kodowanie wiedzy o procesach domenowych jako topologii grafu – a nie poleganie wyłącznie na rozumowaniu modelu językowego – okazuje się kluczowym czynnikiem umożliwiającym rzetelne, zgodne z wymogami GxP programowanie danych badań klinicznych. To podejście może mieć praktyczne znaczenie dla firm farmaceutycznych i CRO (organizacji prowadzących badania kontraktowe), które przygotowują dokumentację regulacyjną – wskazując, że rozwiązaniem problemów z niezawodnością agentów AI w wysoce regulowanych branżach może być nie „lepszy” model, ale lepsza architektura procesu.

Podsumowując, GxP-Agent pokazuje, że w zadaniach wymagających ścisłej zgodności regulacyjnej, jak programowanie danych klinicznych, decydującym czynnikiem sukcesu jest struktura procesu narzucona systemowi agentowemu – a nie sama moc obliczeniowa użytego modelu językowego.