NVIDIA CCCL 3.1 dodaje kontrolę determinizmu zmiennoprzecinkowego dla obliczeń GPU

Caroline Bishop 5 marca 2026 17:46

NVIDIA CCCL 3.1 wprowadza trzy poziomy determinizmu dla redukcji równoległych, umożliwiając programistom wymianę wydajności na powtarzalność w obliczeniach GPU.

NVIDIA wprowadziła kontrolę determinizmu w CUDA Core Compute Libraries (CCCL) 3.1, rozwiązując uporczywy problem w równoległych obliczeniach GPU: uzyskiwanie identycznych wyników z operacji zmiennoprzecinkowych w wielu uruchomieniach i na różnym sprzęcie.

Aktualizacja wprowadza trzy konfigurowalne poziomy determinizmu poprzez nowe jednofazowe API CUB, dając programistom wyraźną kontrolę nad kompromisem między powtarzalnością a wydajnością, który nękał aplikacje GPU przez lata.

Dlaczego determinizm zmiennoprzecinkowy ma znaczenie

Oto problem: dodawanie zmiennoprzecinkowe nie jest ściśle łączne. Ze względu na zaokrąglanie przy skończonej precyzji, (a + b) + c nie zawsze równa się a + (b + c). Gdy równoległe wątki łączą wartości w nieprzewidywalnej kolejności, otrzymujesz nieco różne wyniki przy każdym uruchomieniu. Dla wielu aplikacji — modelowania finansowego, symulacji naukowych, obliczeń blockchain, trenowania uczenia maszynowego — ta niespójność tworzy realne problemy.

Nowe API pozwala programistom określić dokładnie, jak dużo powtarzalności potrzebują, poprzez trzy tryby:

Determinizm niegwarantowany priorytetowo traktuje czystą szybkość. Używa operacji atomowych, które wykonują się w jakiejkolwiek kolejności wątków, kończąc redukcje w pojedynczym uruchomieniu jądra. Wyniki mogą się nieznacznie różnić między uruchomieniami, ale dla aplikacji, gdzie przybliżone odpowiedzi wystarczą, wzrost wydajności jest znaczny — szczególnie w mniejszych tablicach wejściowych, gdzie dominuje narzut uruchamiania jądra.

Determinizm uruchomienie-do-uruchomienia (domyślny) gwarantuje identyczne wyniki przy użyciu tych samych danych wejściowych, konfiguracji jądra i GPU. NVIDIA osiąga to przez strukturyzowanie redukcji jako stałych drzew hierarchicznych zamiast polegania na operacjach atomowych. Elementy łączą się najpierw w wątkach, następnie w warpach poprzez instrukcje shuffle, następnie w blokach używając pamięci współdzielonej, z drugim jądrem agregującym końcowe wyniki.

Determinizm GPU-do-GPU zapewnia najściślejszą powtarzalność, gwarantując identyczne wyniki na różnych GPU NVIDIA. Implementacja używa Reprodukowalnego Akumulatora Zmiennoprzecinkowego (RFA), który grupuje wartości wejściowe w stałe zakresy wykładników — domyślnie do trzech przedziałów — aby przeciwdziałać problemom nielączności, które powstają przy dodawaniu liczb o różnych wielkościach.

Kompromisy wydajnościowe

Testy porównawcze NVIDIA na GPU H200 określają koszt powtarzalności. Determinizm GPU-do-GPU zwiększa czas wykonania o 20% do 30% dla dużych rozmiarów problemów w porównaniu do trybu zrelaksowanego. Determinizm uruchomienie-do-uruchomienia znajduje się pomiędzy dwoma ekstremami.

Konfiguracja RFA z trzema przedziałami oferuje to, co NVIDIA nazywa "optymalnym domyślnym" równoważeniem dokładności i szybkości. Więcej przedziałów poprawia precyzję numeryczną, ale dodaje pośrednie sumowania, które spowalniają wykonanie.

Szczegóły implementacji

Programiści uzyskują dostęp do nowych kontrolek poprzez cuda::execution::require(), który konstruuje obiekt środowiska wykonawczego przekazywany do funkcji redukcji. Składnia jest prosta — ustaw determinizm na not_guaranteed, run_to_run lub gpu_to_gpu w zależności od wymagań.

Funkcja działa tylko z jednofazowym API CUB; starsze dwufazowe API nie akceptuje środowisk wykonawczych.

Szersze implikacje

Wieloplatformowa powtarzalność zmiennoprzecinkowa była znanym wyzwaniem w obliczeniach wysokowydajnych i aplikacjach blockchain, gdzie różne kompilatory, flagi optymalizacji i architektury sprzętowe mogą produkować rozbieżne wyniki z matematycznie identycznych operacji. Podejście NVIDIA polegające na wyraźnym ujawnianiu determinizmu jako konfigurowalnego parametru, zamiast ukrywania szczegółów implementacji, reprezentuje pragmatyczne rozwiązanie.

Firma planuje rozszerzyć kontrolę determinizmu poza redukcje na dodatkowe prymitywy równoległe. Programiści mogą śledzić postępy i żądać określonych algorytmów poprzez repozytorium GitHub NVIDIA, gdzie otwarte zgłoszenie śledzi rozszerzoną mapę drogową determinizmu.

• nvidia
• obliczenia gpu
• cccl
• determinizm zmiennoprzecinkowy
• cuda