Pamięć agentów LLM: usuwanie nieaktualnych faktów może obniżać trafność
Pamięć agentów LLM: badanie z arXiv pokazuje, że automatyczne usuwanie „nieaktualnych” faktów może obniżać trafność odpowiedzi, gdy moduł oceniający się myli.

Źródło zdjęcia: arXiv.org
Automatyczne usuwanie „nieaktualnych” faktów z pamięci agentów opartych na dużych modelach językowych może obniżać trafność ich odpowiedzi. Tak wynika z pracy „When Should LLM Agents Forget? Memory Filtering Under Query-Critical Resolver Errors”, opublikowanej w serwisie arXiv. Problem pojawia się wtedy, gdy komponent decydujący o usunięciu faktu się pomyli i skasuje informację kluczową dla zadanego pytania.
Autorem pracy jest Samarth Vinayaka. Tekst trafił do arXiv 30 sierpnia 2026 roku w kategorii sztucznej inteligencji (cs.AI). Liczy 12 stron i zawiera 2 wykresy. Autor nie odrzuca filtrowania pamięci. Proponuje traktować usuwanie danych jako decyzję obarczoną kosztem, a nie domyślny krok porządkowy.
Najważniejsze informacje
- Systemy pamięci LLM często usuwają fakty uznane za nieaktualne. Ten etap twardego filtrowania może jednak obniżać dokładność odpowiedzi.
- W testach na trzech modelach twarde usuwanie dawało zyski od +0,186 do +0,230 przy bezbłędnej klasyfikacji. Przy najniższej badanej niezawodności oznaczało straty od -0,176 do -0,181.
- Błędne usunięcie potrzebnego faktu (false-drop) szkodzi istotnie bardziej niż błędne zachowanie zbędnego (false-keep).
- Prosta bramka decyzyjna osiągnęła dokładność 0,655, wobec 0,641 przy bezwarunkowym usuwaniu i 0,662 przy wyborze „wyroczni” znającej dane testowe.
- Autor zaleca, by przed usuwaniem sprawdzić ryzyko błędnych usunięć na dopasowanych danych. Gdy to niemożliwe, domyślną strategią powinno być zachowanie faktów bez polegania na etykietach.
Gdzie leży problem: pamięć, która zapomina za dużo
Agenci LLM coraz częściej korzystają z pamięci, czyli zbioru faktów gromadzonych w trakcie działania. Część z nich z czasem traci aktualność. Naturalnym odruchem projektantów jest więc ich usuwanie. Według streszczenia pracy jest to częsta praktyka: fakty sklasyfikowane jako nieaktualne są po prostu kasowane.
Decyzję o tym, który fakt jest nieaktualny, podejmuje w opisanym schemacie tzw. resolver, czyli komponent rozstrzygający status informacji. Vinayaka zwraca uwagę, że resolver nie jest nieomylny. Najbardziej szkodliwe są jego pomyłki dotyczące faktów krytycznych dla zapytania, czyli tych, bez których model nie odpowie poprawnie. Usunięty fakt nie trafia już do kontekstu, więc model nie ma szansy z niego skorzystać.
Co pokazały eksperymenty
Autor przeprowadził kontrolowaną interwencję badającą wrażliwość wyników na jakość klasyfikacji. Zmieniał niezawodność resolvera i obserwował, jak zachowuje się strategia twardego usuwania (hard-drop) w trzech modelach.
Przy idealnej klasyfikacji usuwanie wyraźnie się opłacało: zyski wynosiły od +0,186 do +0,230. Przy najniższym testowanym poziomie niezawodności efekt się odwracał i pojawiały się straty od -0,176 do -0,181. Ten sam mechanizm może więc pomagać albo szkodzić, zależnie wyłącznie od tego, jak często resolver się myli.
Druga seria eksperymentów porównywała dwa rodzaje błędów w sparowanych, ukierunkowanych interwencjach:
- false-drop: usunięcie faktu, który był potrzebny,
- false-keep: pozostawienie faktu, który należało usunąć.
Pierwszy typ błędu powodował istotnie większą degradację wyników niż drugi. Autor zaznacza jednak, że rezygnacja z usuwania nie rozwiązuje wszystkiego. Wariant bazowy, który niczego nie kasuje, również może zawodzić, gdy błędne etykiety nadane faktom wpływają na generowaną odpowiedź. Nieprawidłowa klasyfikacja szkodzi więc także wtedy, gdy nie prowadzi do usunięcia danych.
Bramka decyzyjna zamiast sztywnej reguły
W części praktycznej Vinayaka sprawdził prostą bramkę decyzyjną dopasowaną do warunków wdrożenia (deployment-matched gate). Zbiór danych podzielono na stałe po równo: 102 przykłady kalibracyjne i 102 testowe. Wyniki:
- bramka dopasowana do wdrożenia: 0,655,
- zawsze twarde usuwanie: 0,641,
- wybór „wyroczni” korzystającej z informacji o zbiorze testowym: 0,662.
Prosta bramka wypadła więc lepiej niż bezwarunkowe usuwanie i niewiele gorzej od rozwiązania, które w praktyce jest nieosiągalne, bo wymaga wiedzy o danych testowych.
Autor przestrzega też przed błędną interpretacją punktów przecięcia, czyli momentów, w których usuwanie przestaje się opłacać w ujęciu globalnej dokładności. Wyznaczenie tych punktów wymaga etykiet referencyjnych (gold labels). Są one specyficzne dla danego modelu i zadania. W pracy pełnią rolę narzędzi diagnostycznych, a nie progów do bezpośredniego zastosowania we wdrożeniach.
Wnioski dla projektantów agentów
Główne zalecenie pracy dotyczy podejścia do usuwania danych. Należy je traktować jako decyzję wrażliwą na koszt błędu. Autor wskazuje dwie drogi:
- Walidacja na dopasowanych danych: przed włączeniem twardego filtrowania trzeba zmierzyć ryzyko błędnego usunięcia faktów krytycznych dla zapytań na danych odpowiadających rzeczywistemu zastosowaniu.
- Domyślne zachowywanie faktów: gdy taka walidacja nie jest możliwa, bezpieczniejszą opcją jest pozostawienie informacji w pamięci bez polegania na etykietach przypisanych przez resolver.
Dla zespołów budujących agentów oznacza to, że mechanizmów „zapominania” nie warto włączać domyślnie w przekonaniu, że porządkowanie pamięci zawsze się opłaca. Jak pokazują dane z pracy, korzyść zależy od niezawodności klasyfikacji. Przy słabym resolverze strata może być porównywalna z potencjalnym zyskiem.
Podsumowanie
Praca Samartha Vinayaki pokazuje, że w systemach pamięci agentów LLM błędne skasowanie potrzebnej informacji kosztuje więcej niż zachowanie zbędnej. Bez rzetelnej walidacji rozsądniej jest pamiętać więcej niż zapominać zbyt pochopnie.
Źródła
Podobne publikacje

Detektory halucynacji na małych modelach AI: ranking się odwraca
Audyt detektorów halucynacji na małych, kwantyzowanych LLM: ranking metod odwraca się między Llama i Qwen, a prosty test leksykalny dorównuje droższym metodom.

datasette-llm 0.1a11 obsługuje endpointy zgodne z OpenAI
Wtyczka datasette-llm 0.1a11 obsługuje endpointy zgodne z OpenAI, więc Datasette Agent może działać na lokalnych modelach z LM Studio, Ollama lub llama.cpp.

HOPE od Amazon: przycinanie ekspertów MoE z uwzględnieniem współpracy
Metoda HOPE od badaczy Amazon przycina ekspertów w modelach MoE, uwzględniając ich współpracę. Przy 50% przycięciu wyraźnie wyprzedza REAP na SWE-Bench Pro.