NVIDIA we współpracy z Siemens Healthineers opublikowało przełomowy model AI o nazwie NV-Raw2Insights-US, który rewolucjonizuje obrazowanie ultrasonograficzne poprzez uczenie się bezpośrednio z surowych danych z sondy, zamiast z gotowych obrazów. Szczegóły tej innowacji dostępne są w artykule na blogu Hugging Face.
Kluczowe wnioski
- Przełom w podejściu: Model uczy się bezpośrednio z surowych sygnałów sondy ultrasonograficznej, zamiast z gotowych obrazów, co pozwala wykorzystać informacje normalnie tracone podczas rekonstrukcji
- Personalizacja w czasie rzeczywistym: System generuje spersonalizowaną mapę prędkości dźwięku dla każdego pacjenta i koryguje obraz w czasie rzeczywistym
- Architektura wdrożenia: Wykorzystuje NVIDIA Holoscan Sensor Bridge (HSB) do przesyłania danych wysokiej przepustowości z skanera ACUSON Sequoia przez DisplayPort
- Technologia Data over DisplayPort: Umożliwia integrację z istniejącymi skanerami poprzez modyfikacje wyłącznie programowe
- Platforma rozszerzalna: Modularna architektura pozwala na bezproblemową integrację nowych modeli AI w przyszłości
Rewolucja w obrazowaniu ultrasonograficznym
Tradycyjnie obrazy ultrasonograficzne są tworzone za pomocą ręcznie zaprojektowanego pipeline'u rekonstrukcji, który kompresuje bogate surowe pomiary czujników do końcowego obrazu, jednocześnie przyjmując upraszczające założenia dotyczące fizyki, w tym stałą prędkość dźwięku w całym ciele.
NV-Raw2Insights-US zmienia to podejście fundamentalnie. Zamiast pracować z gotowymi obrazami, model uczy się bezpośrednio z surowych sygnałów przechwytywanych przez sondę ultrasonograficzną - najbliższej reprezentacji tego, jak dźwięk rzeczywiście wchodzi w interakcję z ciałem. Pozwala to modelowi "słuchać" bardziej uważnie i rozumieć, jak każdy pacjent w unikalny sposób kształtuje te fale dźwiękowe.
W tej pierwszej aplikacji Raw2Insights model szacuje prędkość dźwięku dla adaptacyjnego ogniskowania obrazu. Rezultatem jest system, który może wygenerować spersonalizowaną mapę prędkości dźwięku dla każdego pacjenta i wykorzystać ją do korekcji obrazu w czasie rzeczywistym. To, co wcześniej wymagało złożonych, czasochłonnych obliczeń, jest teraz wykonywane w jednym przebiegu AI.
Architektura wdrożenia i możliwości systemu
Zwykle surowe dane kanałowe ultradźwięków nie są łatwo dostępne na skanerach ultrasonograficznych klasy klinicznej ze względu na ich wysoką przepustowość. Holoscan Sensor Bridge (HSB) to open source IP dla FPGA opracowany przez NVIDIA, który umożliwia transfer danych o wysokiej przepustowości i małym opóźnieniu do GPU za pomocą RDMA over Converged Ethernet.
Zestaw deweloperski Altera Agilex-7 FPGA w połączeniu z NVIDIA Holoscan Sensor Bridge umożliwia strumieniowanie surowych danych kanałowych ultradźwięków z wyjść DisplayPort skanera ultrasonograficznego ACUSON Sequoia. NVIDIA nazywa tę technologię "Data over DisplayPort". HSB następnie pakietuje dane i przesyła je przez Ethernet do NVIDIA IGX w celu zbierania danych i wnioskowania AI.
Model jest wdrażany przy użyciu NVIDIA Holoscan - platformy edge AI do przetwarzania sensorów, zaprojektowanej dla wysokowydajnych obciążeń w czasie rzeczywistym na systemach takich jak NVIDIA IGX Thor i NVIDIA DGX Spark. Gdy dane znajdują się w pamięci GPU, NV-Raw2Insights-US uruchamia przyspieszone wnioskowanie na GPU klasy Blackwell, tworząc specyficzne dla pacjenta oszacowanie prędkości dźwięku.
Perspektywy rozwoju
Poprzez przesunięcie inteligencji ultrasonograficznej z tradycyjnych algorytmów na pipeline Raw2Insights napędzany przez AI, NVIDIA otwiera skalowalną ścieżkę do obrazowania natywnego dla AI. Uczenie się bezpośrednio z surowych danych kanałowych ultradźwięków, a nie z rekonstruowanych obrazów, redukuje błędy wprowadzane przez tradycyjne założenia i skutecznie dostosowuje obrazowanie dla każdego pacjenta.
Ta architektura nie tylko poprawia dziś jakość obrazu, ale także ustanawia modularną podstawę dla następnej generacji systemów diagnostycznych napędzanych przez AI. Deweloperzy mogą rozpocząć pracę z NV-Raw2Insights-US korzystając z udostępnionych zasobów na GitHub, wag modelu i zbiorów danych.
