Claude Code najszybszy, ale trzy razy droższy od najtańszej konkurencji

Firma Composio przeprowadziła test porównawczy czterech popularnych frameworków agentów AI, testując je na modelu DeepSeek V4 Flash. Wyniki pokazują znaczące różnice w kosztach i szybkości działania, mimo podobnych wskaźników sukcesu. Szczegóły badania zostały opublikowane przez The Decoder.

Kluczowe wnioski

• Claude Code okazał się najszybszym frameworkiem (122 sekundy na zadanie), ale również najdroższym ($0,195 za udane zadanie).
• OpenCode był najtańszą opcją ($0,073 za udane zadanie), oferując prawie trzykrotnie niższe koszty niż Claude Code.
• Oh My Pi osiągnął najwyższą skuteczność (17 z 30 zadań), ale był najwolniejszy (272 sekundy na zadanie).
• Różnica w szybkości między najszybszym a najwolniejszym frameworkiem wyniosła 2,2x, a w kosztach prawie 3x.
• Siedem zadań przechodziło lub nie przechodziło wyłącznie w zależności od używanego frameworka.

Metodologia testów

Composio przeprowadziło testy na 30 rzeczywistych zadaniach z wykorzystaniem popularnych narzędzi takich jak Gmail, GitHub, Slack i Notion. Wszystkie frameworki używały tego samego modelu — DeepSeek V4 Flash, co pozwoliło na rzetelne porównanie wpływu samego oprogramowania otaczającego model AI na wydajność i koszty.

Badanie objęło cztery frameworki: Claude Code, Codex, OpenCode i Oh My Pi. Każdy z nich został oceniony pod kątem trzech kluczowych metryk: wskaźnika sukcesu, czasu wykonania zadania oraz kosztów operacyjnych.

Wyniki i różnice w wydajności

Wskaźniki sukcesu między frameworkami pozostawały stosunkowo zbliżone. Oh My Pi osiągnął najlepszy rezultat z 17 zadaniami wykonanymi pomyślnie z 30, podczas gdy OpenCode nieco odstał z wynikiem 14/30. Pozostałe frameworki znajdowały się między tymi wartościami.

Prawdziwe różnice ujawniły się w zakresie szybkości i kosztów. Claude Code, mimo że był najszybszy, generował najmniej tokenów wyjściowych i wykonywał najmniej wywołań narzędzi, okazał się znacznie droższy od konkurencji. To paradoks, który pokazuje, jak różne podejścia do optymalizacji mogą wpływać na strukturę kosztów.

Implikacje dla użytkowników

Wyniki badania pokazują, że wybór frameworka agenta AI może mieć znaczący wpływ na budżet projektów wykorzystujących sztuczną inteligencję. Organizacje muszą rozważyć trade-off między szybkością wykonania a kosztami operacyjnymi, w zależności od specyfiki swoich potrzeb i ograniczeń budżetowych.