Mały model LoRA lepiej doprecyzowuje zapytania w RAG

Nowe badanie opublikowane na arXiv pokazuje, że niewielki, dostrojony model może skuteczniej rozpoznawać niejednoznaczne zapytania w systemach RAG (retrieval-augmented generation) niż znacznie większe modele sterowane samym promptem. Autorzy z IBM Research – Lihong He, Lucian Popa i Marina Danilevsky – przedstawili zarówno nowy zbiór danych ClariEdge, jak i lekki model LoRA, który osiąga 96,6% dokładności klasyfikacji zapytań wymagających doprecyzowania.

Kluczowe wnioski

• Autorzy stworzyli ClariEdge – zbiór danych liczący około 3900 przykładów obejmujących niejednoznaczne zapytania użytkowników wraz z przykładami negatywnymi, które doprecyzowania nie wymagają.
• Lekki, dostrojony model LoRA osiąga 96,6% dokładności klasyfikacji i przewyższa promptowane modele bazowe (w tym wiele większych modeli) zarówno pod względem klasyfikacji, jak i jakości generowanych pytań doprecyzowujących.
• Kluczowym elementem skuteczności okazały się „trudne negatywy” (hard negatives) – przykłady, które na pierwszy rzut oka wyglądają na niejednoznaczne, ale w rzeczywistości można je rozwiązać na podstawie kontekstu rozmowy.
• Ten sam model LoRA sprawdza się zarówno w scenariuszach przed wyszukiwaniem dokumentów (pre-retrieval), jak i po nim (post-retrieval), co pozwala umieścić go w dwóch różnych punktach potoku RAG jako mechanizm kontrolny przed wygenerowaniem odpowiedzi.

Problem niejednoznacznych zapytań w systemach RAG

Systemy RAG łączą wyszukiwanie dokumentów z generowaniem odpowiedzi przez modele językowe, ale ich skuteczność zależy od tego, czy zapytanie użytkownika jest jasne. Zespół badawczy skupił się na wielorundowych, osadzonych w kontekście rozmowach konwersacyjnych, w których zapytanie może być źle sformułowane lub niejednoznaczne w świetle wcześniejszego dialogu.

Co szczególnie interesujące, autorzy zwracają uwagę na drugi, mniej oczywisty przypadek: zapytanie może być poprawnie sformułowane, ale po zestawieniu z pobranymi dokumentami okazuje się, że istnieje wiele uzasadnionych interpretacji. W obu sytuacjach zadaniem systemu jest rozpoznanie niejednoznaczności, a następnie wygenerowanie odpowiedniego pytania doprecyzowującego skierowanego do użytkownika, zamiast udzielania odpowiedzi opartej na błędnym założeniu.

Jak powstał i działa ClariEdge

Zbiór danych ClariEdge, liczący blisko 3900 przykładów, zawiera zarówno zapytania wymagające doprecyzowania, jak i negatywne przypadki, które takiej interwencji nie potrzebują. Zastosowanie w pełni oznaczonego zbioru z przykładami negatywnymi pozwoliło autorom przetestować model w warunkach zbliżonych do rzeczywistego ruchu użytkowników, gdzie większość zapytań jest w rzeczywistości jasna.

Badacze podkreślają, że obecność tzw. hard negatives – czyli zapytań, które pozornie wyglądają na niejednoznaczne, ale w rzeczywistości dają się rozstrzygnąć na podstawie kontekstu – jest „niezbędnym składnikiem” do oddzielenia prawdziwej niejednoznaczności od pozornej. Bez takich trudnych przykładów model mógłby zbyt często i niepotrzebnie prosić użytkownika o doprecyzowanie, co w praktycznym zastosowaniu obniżałoby komfort korzystania z systemu.

Do dostrojenia modelu zastosowano technikę LoRA (Low-Rank Adaptation) – metodę pozwalającą efektywnie dostosować duży model bazowy do konkretnego zadania przy użyciu relatywnie niewielkiej liczby parametrów trenowalnych. Mimo niewielkich rozmiarów, tak dostrojony model przewyższył promptowane bazowe konfiguracje wielu większych modeli zarówno w zadaniu klasyfikacji (rozpoznanie, czy zapytanie wymaga doprecyzowania), jak i w jakości samego wygenerowanego pytania zwrotnego.

Zastosowanie w pełnym potoku RAG

Jedną z praktycznych zalet przedstawionego rozwiązania jest jego elastyczność architektoniczna. Ten sam model LoRA osiąga wysoką skuteczność zarówno w scenariuszu pre-retrieval – czyli zanim system jeszcze pobierze dokumenty z bazy wiedzy – jak i post-retrieval, gdy niejednoznaczność ujawnia się dopiero po zestawieniu zapytania z konkretnymi, pobranymi treściami.

Dzięki temu model może być umieszczony w dwóch różnych punktach kontrolnych wewnątrz potoku RAG: raz na etapie wstępnej analizy zapytania użytkownika, a drugi raz – jako dodatkowe zabezpieczenie tuż przed wygenerowaniem finalnej odpowiedzi, już po wyszukaniu dokumentów. Taka podwójna kontrola pozwala wyłapać przypadki, w których sam tekst zapytania wydawał się jednoznaczny, ale po konfrontacji z rzeczywistą zawartością bazy wiedzy okazuje się, że pasuje do kilku różnych, równie uzasadnionych interpretacji.

Autorzy udostępnili zbiór danych ClariEdge publicznie, co umożliwia dalsze badania i replikację wyników przez innych badaczy pracujących nad poprawą jakości systemów RAG oraz interakcji konwersacyjnych opartych na dużych modelach językowych.

Badanie pokazuje, że w zadaniach wymagających precyzyjnego rozpoznawania niuansów językowych nie zawsze potrzeba największego dostępnego modelu – odpowiednio przygotowany zestaw danych treningowych, w tym trudne przykłady negatywne, może dać przewagę nawet niewielkiemu, lekko dostrojonemu modelowi.