Libretto - nowe narzędzie do deterministycznej automatyzacji przeglądarek przez AI

Zespół Saffron Health opublikował w serwisie GitHub nowe narzędzie o nazwie Libretto, które ma na celu uczynienie automatyzacji przeglądarek przez sztuczną inteligencję bardziej deterministyczną i niezawodną. Rozwiązanie zostało udostępnione jako projekt open source, aby ułatwić innym zespołom tworzenie solidnych integracji webowych.

Czym jest Libretto?

Libretto to zestaw narzędzi do budowania robustnych integracji webowych, który zapewnia agentom kodowym dostęp do żywej przeglądarki oraz wydajny interfejs wiersza poleceń. Narzędzie umożliwia inspekcję stron w czasie rzeczywistym z minimalnym narzutem kontekstowym, przechwytywanie ruchu sieciowego w celu reverse-engineeringu API stron, nagrywanie działań użytkownika i odtwarzanie ich jako skryptów automatyzacji oraz debugowanie niedziałających przepływów pracy w interakcji z rzeczywistą stroną.

Firma Saffron Health stworzyła Libretto, aby pomóc sobie w utrzymaniu integracji przeglądarek z powszechnym oprogramowaniem medycznym. Decyzja o udostępnieniu kodu jako open source ma na celu ułatwienie podobnych zadań innym zespołom.

Instalacja i konfiguracja

Proces instalacji rozpoczyna się od standardowego polecenia npm:

npm install libretto

Pierwsza konfiguracja wymaga uruchomienia:

npx libretto setup

Polecenie to automatycznie instaluje niezbędne komponenty, pobiera Chromium i przypina domyślny model migawek. System setup wykrywa dostępne dane uwierzytelniające dostawców (np. OPENAI_API_KEY) i automatycznie przypisuje domyślny model do .libretto/config.json.

Stan gotowości workspace'u można sprawdzić w dowolnym momencie poleceniem npx libretto status. W przypadku ręcznej zmiany modelu analizy migawek służy polecenie npx libretto ai configure.

Przypadki użycia

Libretto zostało zaprojektowane do użytku jako umiejętność przez agentów kodowych. Narzędzie obsługuje kilka kluczowych scenariuszy:

Generowanie jednorazowych skryptów - Agent może otrzymać polecenie typu: "Użyj umiejętności Libretto. Wejdź na LinkedIn i zeskrobaj pierwsze 10 postów dla treści, kto je opublikował, liczbę reakcji, pierwsze 25 komentarzy i pierwsze 25 udostępnień." System automatycznie otworzy okno do logowania i rozpocznie eksplorację.

Interaktywne budowanie skryptów - Libretto może odczytywać działania wykonywane przez użytkownika w przeglądarce, co pozwala na demonstrację przepływu pracy, a następnie automatyczne przekształcenie go w skrypt Playwright.