54 artykuły z tym tagiem
FairStress to benchmark Ai2 badający, czy modele AI zmieniają decyzje pod presją perswazji inaczej w zależności od grupy demograficznej kandydata.
GardenBench to nowy benchmark z 11 zestawami testów, który codziennie monitoruje wydajność, koszty i czas działania modeli LLM.
Nowe badanie pokazuje, że transkrypty z nasyconych benchmarków AI pozwalają przewidzieć zdolności modeli znacznie lepiej niż same wyniki testów.
Nowy benchmark RealtimeBench i metoda TORSI pokazują, że szybkość agentów AI może liczyć się bardziej niż jakość pojedynczej odpowiedzi.
Badanie z arXiv ujawnia, że większość agentów data science popełnia metodologiczne błędy jak wyciek danych, niewidoczne w standardowych testach trafności.
Jose Hernandez-Orallo zaprezentował C-test oparty na Kt Levina i LLM, mierzący trudność zadań AI poza zasięgiem najlepszych obecnych modeli.
Microsoft Research pokazuje, że czyszczenie kontekstu czatu agentów AI poprawia wyniki nawet o 66 procent przy tym samym budżecie obliczeniowym.
Nowy algorytm EliteTable wykorzystuje LLM-y do samodoskonalącego przeszukiwania programów sterujących – poprawa w pięciu z sześciu zadań Gymnasium.
Badanie Vals AI i Anthropic pokazuje, że zespoły agentów AI kosztują nawet 5x więcej niż pojedynczy agent, dając minimalny wzrost jakości wyników.
ArXiv wprowadza limit dwóch zgłoszeń miesięcznie na osobę, bo AI podwoiła liczbę prac w dwa lata, przytłaczając moderatorów platformy.
Nowe badanie z arXiv testuje odwracalne zapominanie kontekstu przez agentów AI – obniżyło koszty API nawet trzykrotnie, ale nie w każdym zadaniu.
Badanie prezentuje Synthesis Through Simulation — metodę generowania danych dla agentów AI bez dostępu do schematów baz danych przedsiębiorstw.
