KVBoost: szybszy cache KV przyspiesza inferencję LLM o 4,5x

KVBoost to nowy system przyspieszający wnioskowanie dużych modeli językowych, opisany w pracy „KVBoost: Chunk-Level Key-Value Cache Reuse with Deviation-Guided Recomputation for Efficient Large Language Model Inference” autorstwa Srihariego Unnikrishnana. Rozwiązanie adresuje jeden z najbardziej kosztownych etapów pracy transformerów – ponowne obliczanie tensorów key-value (KV) przy każdym zapytaniu, co generuje wysoką latencję na etapie prefill.

Kluczowe wnioski

• KVBoost umożliwia ponowne wykorzystanie cache KV niezależnie od pozycji wspólnej treści w promptach, w przeciwieństwie do klasycznego prefix-cachingu wymagającego wspólnego wiodącego fragmentu.
• System wprowadza podwójny schemat haszowania (dual-hash), który rozdziela identyfikację pozycyjną (hash prefiksu) od identyfikacji treściowej (hash contentu), wspierając dopasowania dokładne i przybliżone.
• Błędy na granicach uwagi między niezależnie buforowanymi fragmentami są naprawiane dwiema strategiami: SelectiveRecompute i CacheBlendRecompute.
• Na modelu Qwen/Qwen2.5–3B, przy 1000 próbkach lokalizacji błędów, KVBoost skrócił czas do pierwszego tokena (TTFT) 4,49-krotnie (142,4 ms vs. 639,1 ms) i przewyższył klasyczny prefix caching o 16%, bez utraty dokładności (99,2% wobec 99,1%).
• Rozwiązanie działa na modelach opartych na RoPE bez modyfikacji architektury i jest kompatybilne z modelami dekoderowymi zgodnymi z HuggingFace.

Problem z klasycznym prefix cachingiem

Systemy cache'ujące prefiksy, powszechnie stosowane do przyspieszania inferencji LLM, opierają się na założeniu, że różne zapytania współdzielą wspólny, ciągły fragment tekstu na początku promptu. Jeśli takie warunki są spełnione, model nie musi ponownie liczyć tensorów KV dla tej części sekwencji, co znacząco redukuje koszty obliczeniowe fazy prefill.

Problem pojawia się, gdy wspólna treść znajduje się w innym miejscu promptu niż na jego początku – np. w środku dokumentu, w kontekście dołączonym po części dynamicznej, czy w różnych fragmentach kodu przy analizie repozytoriów. W takich sytuacjach klasyczny prefix caching traci skuteczność, ponieważ wymaga zgodności pozycyjnej, a nie tylko treściowej. Autor pracy identyfikuje to jako główne ograniczenie istniejących podejść i punkt wyjścia dla KVBoost.

Jak działa KVBoost: haszowanie, naprawa granic i kwantyzacja

KVBoost rozwiązuje ten problem poprzez cache'owanie na poziomie fragmentów (chunk-level), a nie całych prefiksów. Kluczowym elementem jest dual-hash keying – system generuje dwa niezależne hasze dla każdego fragmentu: jeden odpowiadający za identyfikację pozycyjną (prefix hash), drugi za identyfikację treściową (content hash). Taka separacja pozwala na dopasowania zarówno dokładne, jak i przybliżone, co znacznie zwiększa liczbę sytuacji, w których cache może zostać ponownie wykorzystany.

Niezależne buforowanie fragmentów tworzy jednak nowy problem: błędy na granicach mechanizmu uwagi, wynikające z tego, że fragmenty były kodowane osobno i nie „widziały” się wzajemnie w pełnym kontekście. KVBoost naprawia to dwiema strategiami:

• SelectiveRecompute – ponownie koduje regiony przy granicach fragmentów, tam gdzie ryzyko błędu jest najwyższe.
• CacheBlendRecompute – identyfikuje tokeny o wysokim odchyleniu (deviation) po przejściu próbnym (probe pass) i tylko te tokeny są ponownie obliczane.

System uzupełniają dodatkowe mechanizmy optymalizacyjne: asymetryczna kwantyzacja KV w formatach int8/int4, adaptacyjny podział granic fragmentów oraz ewikcja ważona istotnością (importance-weighted eviction) działająca w ramach ustalonego budżetu pamięci. Te elementy pozwalają KVBoost funkcjonować jako warstwa akceleracji inferencji, która nie wymaga modyfikacji architektury modelu i jest zgodna z modelami opartymi na RoPE (Rotary Position Embedding) – a więc z większością współczesnych dekoderowych LLM-ów zgodnych z ekosystemem HuggingFace.

Wyniki testów i znaczenie dla praktyki

Testy przeprowadzono na modelu Qwen/Qwen2.5–3B, na zbiorze 1000 próbek dotyczących lokalizacji błędów w kodzie (bug-localization) – zadania, w którym typowo dochodzi do wielokrotnego odwoływania się do tych samych fragmentów kontekstu (np. plików źródłowych) w różnych pozycjach promptu. W tym scenariuszu KVBoost osiągnął czas do pierwszego tokena na poziomie 142,4 ms, wobec 639,1 ms bez systemu – czyli redukcję 4,49-krotną. W porównaniu z klasycznym prefix cachingiem wynik był lepszy o 16%.

Co istotne, przyspieszenie nie odbyło się kosztem jakości: dokładność systemu wyniosła 99,2%, praktycznie na równi z bazowym wynikiem 99,1% bez KVBoost. Autor podkreśla, że rozwiązanie działa w ramach ograniczonego budżetu pamięci (memory-bounded), co czyni je praktycznym elementem infrastruktury inferencyjnej, a nie tylko koncepcją teoretyczną.

Temat przyspieszania inferencji LLM zyskuje na znaczeniu w miarę jak firmy szukają sposobów na redukcję kosztów obsługi modeli w produkcji – podobne cele stawiają sobie inne niedawne projekty branżowe, takie jak LiquidAI z LFM2.5-DSpark przyspieszającym wnioskowanie do 3,2x czy sprzętowe podejścia w rodzaju Cerebras CS-4 z dwukrotnie wyższą wydajnością na tym samym chipie. KVBoost wyróżnia się tym, że działa na poziomie software'owej warstwy cache'owania, kompatybilnej z istniejącymi modelami bez zmian architektonicznych, co potencjalnie ułatwia szybkie wdrożenie w istniejących systemach obsługujących LLM.

Podsumowanie

KVBoost pokazuje, że cache'owanie KV na poziomie fragmentów, wsparte podwójnym haszowaniem i mechanizmami naprawy granic uwagi, może istotnie skrócić czas odpowiedzi modeli językowych bez utraty dokładności – co ma szczególne znaczenie dla zadań wymagających wielokrotnego odwoływania się do rozproszonego kontekstu, jak analiza kodu czy lokalizacja błędów.