Claude 4.7 zużywa 47% więcej tokenów niż deklaruje Anthropic - pomiary na rzeczywistych danych

Badacz niezależnie zmierzył rzeczywiste koszty tokenizerów w nowym modelu Claude Opus 4.7 firmy Anthropic i odkrył, że oficjalne szacunki mogą nie oddawać pełnego obrazu. Podczas gdy dokumentacja Anthropic przewiduje wzrost liczby tokenów o 1,0-1,35x w porównaniu do wersji 4.6, rzeczywiste pomiary pokazują nawet 1,47x więcej tokenów w przypadku dokumentacji technicznej.

Kluczowe wnioski

• Rzeczywiste koszty tokenów są wyższe niż deklarowane: Pomiary na prawdziwych treściach pokazują wzrost o 1,47x dla dokumentacji technicznej i 1,45x dla plików CLAUDE.md, podczas gdy Anthropic przewiduje maksymalnie 1,35x
• Kod dotknięty bardziej niż tekst: Treści programistyczne wymagają 1,29-1,39x więcej tokenów w porównaniu do 1,20x dla zwykłej prozy angielskiej
• Języki CJK prawie nietknięte: Treści w językach chińskim i japońskim wymagają tylko 1,01x więcej tokenów, co wskazuje na selektywne zmiany w słowniku
• Niewielka poprawa w precyzji: Testy na benchmarku IFEval pokazują wzrost dokładności wykonywania instrukcji o 4-5 punktów procentowych
• Wyższe koszty operacyjne: Te same kwoty i limity oznaczają szybsze wyczerpywanie okna kontekstu, droższe prefiksy cache i wcześniejsze osiąganie limitów

Metodologia pomiarów

Autor przeprowadził eksperymenty wykorzystując API Anthropic /v1/messages/count_tokens do bezpośredniego porównania liczby tokenów między modelami 4.6 i 4.7. Pierwsza grupa testów obejmowała siedem próbek rzeczywistych treści używanych przez programistów Claude Code: pliki CLAUDE.md, prompty użytkowników, posty blogowe, logi git, dane terminala, ślady błędów i diffy kodu.

Druga grupa zawierała dwanaście syntetycznych próbek różnych typów treści - od prozy angielskiej przez kod po dane strukturalne i języki CJK. Wszystkie pomiary wykorzystywały identyczne treści testowane na obu modelach, izolując w ten sposób wpływ samego tokenizera.

Wyniki pokazują wyraźny wzorzec: treści w językach angielskim i kodzie doświadczają znacznie większego wzrostu liczby tokenów (1,20-1,47x) niż treści w językach CJK, emoji czy symbole (1,005-1,07x).

Analiza zmian i konsekwencje

Dane wskazują, że tokenizer 4.7 używa krótszych lub mniej częstych połączeń pod-słów dla popularnych wzorców angielskich i kodu. Stosunek znaków do tokenów dla języka angielskiego spadł z 4,33 do 3,60, a dla TypeScript z 3,66 do 2,69, co oznacza reprezentowanie tego samego tekstu w mniejszych fragmentach.