RENDER: format danych pamięci LLM zmienia wyniki o dziesiątki punktów

RENDER to nowy benchmark badawczy, który stawia niewygodne pytanie ewaluacjom pamięci i systemów RAG (Retrieval-Augmented Generation) w dużych modelach językowych: czy to, jak dokładnie prezentuje się modelowi dowody z historii rozmowy, wpływa na jego skuteczność w odpowiadaniu na pytania — niezależnie od tego, czy sama treść informacji jest identyczna? Autorzy pracy, Yuan Si, Simeng Han, Daming Li i Jialu Zhang, dowodzą, że odpowiedź jest jednoznaczna: forma ma ogromne znaczenie, a dotychczasowe testy pamięci LLM mogły systematycznie zaniżać lub zawyżać oceny modeli w zależności od przyjętego formatu wejścia.

Problem, na który zwraca uwagę zespół badawczy, polega na tym, że ewaluacje pamięci i RAG zazwyczaj traktują format wejściowy odpowiadającego modelu jako szczegół techniczny, niewarty osobnej analizy. W praktyce jednak systemy mogą renderować tę samą historię rozmowy w bardzo różny sposób — jako wpis pamięci w stylu ChatGPT, podsumowanie w stylu LangChain, uporządkowany rekord typu MemGPT albo surowy fragment dialogu. RENDER powstał właśnie po to, by kontrolować tę zmienną: rozmowa (treść) zostaje zafiksowana, a zmienia się jedynie „artefakt” widziany przez model.

Kluczowe wnioski

• RENDER łączy pięciopoziomową „drabinę” pakietów lokalizującą moment, w którym treść zawierająca odpowiedź wchodzi do wejścia modelu, z deterministycznymi szablonami imitującymi wpisy w stylu ChatGPT, podsumowania LangChain, typowane rekordy MemGPT oraz surowy zapis rozmowy.
• Na 500 pytaniach z benchmarku LongMemEval i dziewięciu modelach, pakiety o dopasowanym budżecie tokenów pobiły surowy dialog przycięty do najnowszych fragmentów o 42,4–72,6 punktu.
• W szablonach zbliżonych do rzeczywistych wdrożeń różnica między najlepszym i najgorszym formatem sięgała 24,6–48,8 punktu na model, a wpisy w stylu ChatGPT dawały wyższe wyniki niż surowa rozmowa w 7 z 9 modeli.
• Trzy modele, które uzyskały 0 procent na formalnych pakietach typu „rejestr”, odpowiadały na te same fakty pochodzące z wpisów w języku naturalnym z wynikiem 45,4–53,4 procent.
• Efekt utrzymuje się pod wpływem szumu w wyszukiwaniu (retrieval noise) i przenosi się na inny benchmark — HotpotQA.

Jak zbudowano eksperyment

Autorzy zaprojektowali RENDER jako mechanizm kontrolny, a nie kolejny benchmark „od zera”. Kluczowym elementem jest pięciopoziomowa drabina pakietów, która pozwala precyzyjnie zlokalizować, w którym miejscu wejścia modelu znajduje się treść niosąca odpowiedź na pytanie. Do tego dołączono cztery deterministyczne szablony, które mają odwzorowywać najczęściej stosowane w praktyce formaty pamięci systemów konwersacyjnych: wpis w stylu ChatGPT, podsumowanie generowane przez LangChain, typowany rekord w stylu MemGPT oraz surowy, nieprzetworzony zapis rozmowy.

Testy przeprowadzono na 500 pytaniach z benchmarku LongMemEval, obejmując dziewięć różnych modeli językowych. Takie zestawienie pozwoliło porównać, jak te same fakty konwersacyjne, zapisane w różnych formach, wpływają na skuteczność udzielanych odpowiedzi — przy zachowaniu identycznego budżetu tokenów (matched-budget), co eliminuje efekt zwykłej różnicy w objętości danych.

Skala różnic między formatami

Wyniki pokazują różnice na poziomie, który trudno uznać za marginalny. Gdy porównano „rozwiązane” pakiety o dopasowanym budżecie z surowym dialogiem przyciętym pod kątem najnowszych wiadomości (recency-truncated raw dialogue), przewaga pierwszego podejścia wynosiła od 42,4 do 72,6 punktu — to ogromna rozpiętość, sugerująca, że sama strategia prezentacji dowodów może decydować o sukcesie lub porażce systemu pamięci.

W bardziej realistycznym scenariuszu, czyli przy porównaniu szablonów przypominających rzeczywiste wdrożenia produkcyjne, rozstrzał między najlepszym i najgorszym wariantem wciąż sięgał 24,6–48,8 punktu, w zależności od konkretnego modelu. Co istotne, przy głównym systemie oceniania (primary scorer) wpisy stylizowane na ChatGPT dawały wyższe wyniki punktowe niż surowa rozmowa w siedmiu z dziewięciu badanych modeli. Ponowne ocenianie przez sędziego (judge rescoring) zachowało pozytywny efekt zbiorczy, choć istotność statystyczna dla poszczególnych modeli była zróżnicowana — nie każdy model reagował na zmianę formatu w tym samym stopniu.

Najbardziej wymowny wynik dotyczy trzech modeli, które na formalnych pakietach typu „rejestr” (formal ledger packets) osiągnęły zerowy wynik. Te same modele, gdy otrzymały identyczne fakty zapisane jako wpisy w języku naturalnym, odpowiadały prawidłowo w 45,4–53,4 procenta przypadków. Różnica między 0 a niemal 50 procentami przy identycznej treści faktograficznej pokazuje, jak silnie format wejścia może maskować lub odkrywać rzeczywistą wiedzę modelu na temat konwersacji.

Znaczenie dla ewaluacji systemów pamięci AI

Autorzy podkreślają, że opisany efekt nie jest ograniczony do jednego zestawu danych czy jednego typu zadania. Zjawisko utrzymuje się nawet w warunkach szumu w procesie wyszukiwania informacji (retrieval noise) i przenosi się na inny, niezależny benchmark — HotpotQA. To wzmacnia wniosek, że nie mamy do czynienia z artefaktem specyficznym dla LongMemEval, lecz z ogólniejszą właściwością interakcji między formatem prezentacji danych a zdolnością modelu do wykorzystania zapamiętanych informacji.

Wniosek praktyczny sformułowany w pracy jest jasny: ewaluacje systemów pamięci i RAG powinny raportować lub kontrolować „artefakt widoczny dla czytelnika” (reader-facing artifact), czyli konkretny format, w jakim historia rozmowy trafia do modelu odpowiadającego. Bez tego porównania między różnymi systemami pamięci, a nawet między różnymi wersjami tego samego systemu, mogą być zwyczajnie niewiarygodne — różnice w wynikach mogą odzwierciedlać nie rzeczywiste zdolności pamięciowe modelu, a wyłącznie wybór szablonu prezentacji danych. To ma bezpośrednie znaczenie dla firm i badaczy oceniających systemy oparte na architekturze AI wykorzystującej pamięć długoterminową i wyszukiwanie kontekstowe, gdzie porównania między dostawcami rozwiązań RAG są coraz częściej podstawą decyzji zakupowych.

Praca RENDER dostarcza więc nie tylko konkretnego benchmarku, lecz przede wszystkim metodologicznego ostrzeżenia dla całej społeczności badającej pamięć i RAG w modelach językowych: forma prezentacji dowodów jest zmienną eksperymentalną, którą trzeba kontrolować, a nie ignorować jako szczegół implementacyjny.