llm-echo 0.5: nowy licznik tokenów w pluginie Simona Willisona

Simon Willison, twórca popularnego narzędzia wiersza poleceń LLM, opublikował nową wersję swojego debugowego pluginu llm-echo. Jak opisuje w oryginalnym wpisie na swoim blogu, narzędzie powstało przy okazji prac nad kolejnym wydaniem samego LLM i testowania zgłoszonych do niego pull requestów.

Llm-echo to nietypowe narzędzie w ekosystemie LLM – zamiast łączyć się z prawdziwym modelem językowym, udostępnia fałszywy „model” o nazwie echo, który po prostu odbija z powrotem to, co zostało do niego wysłane. Dzięki temu programiści mogą testować integracje, skrypty i pluginy bez ponoszenia kosztów zapytań do rzeczywistych API i bez czekania na odpowiedzi modeli.

Kluczowe wnioski

• Llm-echo 0.5 to aktualizacja debugowego pluginu do narzędzia LLM, które symuluje model AI, odbijając z powrotem przesłane do niego dane.
• Nowa wersja poprawia symulowane liczniki zużycia tokenów – uwzględniają one teraz wywołania narzędzi (tool calls), prompty systemowe oraz tokeny rozumowania (reasoning tokens).
• Simon Willison stworzył plugin przy okazji testowania pull requestów przed kolejnym, nowym wydaniem samego narzędzia LLM.
• Przykładowe użycie pokazuje, jak model echo zwraca pełną strukturę zapytania wraz z licznikiem tokenów wejściowych i wyjściowych.

Jak działa fałszywy model echo

Mechanizm działania pluginu jest prosty, ale praktyczny. Zamiast wysyłać zapytanie do prawdziwego dostawcy LLM, echo po prostu zwraca to, co otrzymało – wraz z dodatkowym komentarzem symulującym „myślenie” modelu. W przykładzie podanym przez Willisona, polecenie:

uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage

zwraca następujący wynik:

First I consider the prompt, then I decide what to say.

Następnie plugin wypisuje w formacie JSON szczegóły zapytania – treść promptu („hi there”), pusty prompt systemowy, listę załączników, flagę strumieniowania oraz historię poprzednich wiadomości. Na końcu pojawia się informacja o zużyciu tokenów: 2 wejściowe, 24 wyjściowe.

To rozwiązanie pozwala deweloperom pracującym z narzędziem LLM dokładnie sprawdzić, jakie dane faktycznie trafiają do zapytania przed jego wysłaniem do prawdziwego modelu – bez ryzyka kosztów, limitów czy opóźnień sieciowych.

Kontekst nowego wydania i licznik tokenów

Kluczową zmianą w wersji 0.5 jest rozszerzenie symulowanych liczników tokenów. Wcześniejsze wersje pluginu liczyły prawdopodobnie jedynie podstawowe tokeny wejścia i wyjścia, natomiast obecna aktualizacja uwzględnia dodatkowe elementy, które w rzeczywistych rozmowach z modelami AI mają istotny wpływ na koszty i rozliczenia: wywołania narzędzi, prompty systemowe oraz tokeny rozumowania generowane przez modele wspierające reasoning.

To dopasowanie ma znaczenie praktyczne – im dokładniej fałszywy model echo odzwierciedla sposób liczenia tokenów przez prawdziwe API, tym skuteczniej programiści mogą testować logikę swoich aplikacji, w tym kalkulacje kosztów, zanim przetestują je na realnych, płatnych zapytaniach.

Willison wspomina, że prace nad llm-echo 0.5 były bezpośrednim efektem przygotowań do nowego wydania samego narzędzia LLM. Testując pull requesty zgłoszone do głównego projektu, zdecydował się wrócić do tego pobocznego pluginu i unowocześnić go, aby lepiej odzwierciedlał aktualne mechanizmy raportowania zużycia tokenów stosowane przez współczesne modele – w tym te wspierające rozumowanie krok po kroku.

Warto dodać, że ten sam autor publikował w ostatnich tygodniach inne wpisy związane z ekosystemem narzędzia LLM i modeli językowych, w tym omówienie Claude Haiku 5.5 oraz notatki techniczne dotyczące przejścia na nowe wersje Pythona (3.15 i 3.11).

Podsumowanie

Llm-echo 0.5 to drobna, ale praktyczna aktualizacja narzędzia pomocniczego dla programistów pracujących z LLM – dokładniejsze symulowanie liczników tokenów, uwzględniające wywołania narzędzi i tokeny rozumowania, ułatwia testowanie aplikacji AI bez ponoszenia realnych kosztów zapytań.