ASUS Radeon AI PRO R9700 Turbo 32GB GDDR6

Kupiłem 2 takie karty w X-Komie w czerwcu br., gdy były jeszcze po 7k PLN. Jestem z nich bardzo zadowolony. Co prawda nie są tak szybkie jak RTX 5090, ale w cenie jednego RTX-a mamy dwa Radeony R9700 AI PRO o łącznej wielkości pamięci VRAM 64GB! A te 64GB VRAM robią naprawdę dobrą robotę! Na kartach tych uruchamiam w trybie tensor parallelism nawet duże modele językowe w zmiennoprzecinkowej precyzji (FP8 lub FP16) oraz z długim kontekstem (nawet do 256k tokenów). Dzięki temu modele nie halucynują i nadają się do zaawansowanej analizy np. wielostronnicowej dokumentacji i danych naukowych.

W testach syntetycznych pod vLLM uzyskałem na tych GPU następujące wyniki:
Model Qwen3-14B-FP8 (TP=1): wydajność całkowita 2822 tok/s, prędkość generowania odpowiedzi 923 tok/s.
Model Qwen3.6-27B-FP8 (TP=2): wydajność całkowita 1843 tok/s, prędkość generowania odpowiedzi 472 tok/s. Ogranicznikiem wydajności jest tu magistrala PCIe (bifurkacja) oraz brak sprzętowego wsparcia dla P2P i DMA na "zwykłych" płytach głównych PC.

Plusy:
- 32GB pamięci VRAM,
- Rewelacyjny stosunek wydajności do ceny.
- Serwerowe chłodzenie typu "blower", dzięki któremu można zainstalować 2 karty obok siebie bez obawy, że się nawzajem "upieką". Podczas inferencji temperatura rdzeni GPU osiąga zaledwie 50-60 stopni.

Minusy:
- Głośny wentylator. Trzeba jednak pamiętać, że nie jest to sprzęt do sypialni...
- Środowisko ROCm/HIP od AMD wciąż nie jest wspierane tak dobrze jak CUDA. Niektóre aplikacje nie mają jeszcze pełnego wsparcia dla RDNA4. Wymagają czasem samodzielnej kompilacji (Linux) lub dodatkowych ustawień.... Rozwiń dalej

W tym wypadku i mnie dopadł hype zakupowy wywołany kryzysem pamięci napędzanym przez AI, uznałem, że lepiej kupić teraz, niż później patrzeć na ceny VRAM-u i pytać siebie: „dlaczego wtedy nie kliknąłem kup?”. ASUS Radeon AI PRO R9700 Turbo trafił do stacji roboczej o dość nietypowej, ale bardzo ciekawej konfiguracji: Ryzen 9 9950X3D, ASRock X870E Taichi, 192 GB DDR5 oraz dwa GPU z dwóch różnych parafii. RTX 4070 Ti SUPER z 16 GB GDDR6X i 8448 rdzeniami CUDA obsługuje świat NVIDII, a Radeon z 32 GB GDDR6, RDNA 4 oraz ROCm/HIP daje więcej swobody przy większych modelach i eksperymentach po czerwonej stronie mocy.

To nie jest próba sklejania kart w jeden magiczny super-GPU, każda ma własny silnik, sterowniki i zakres obowiązków. NVIDIA robi swoje w CUDA, AMD swoje w ROCm, a ja mam dwa środowiska do testowania i dwa razy więcej powodów, żeby sprawdzać temperatury oraz zużycie prądu. 32 GB VRAM-u w R9700 jest tu głównym argumentem: mniej kompromisów z kwantyzacją, większe modele lokalnie i więcej miejsca na kontekst, zanim zacznie się klasyczna walka o każdy gigabajt pamięci.... Rozwiń dalej

Wykorzystuję do inferencji LLM. Ustawiłem na -20% max power. Spadek wydajności to tylko 7-8% i połowę mniejsze natężenie dźwięku chłodzenia. To nie jest karta do sypialni tylko raczej do pracowni. Przy standardowej pracy na pulpicie ledwo ją słychać, przy max obciążeniu 5600rpm. Zawiera przelotke 2x8->PCIe5.1... Rozwiń dalej

Porażka sterowniki jak chcecie do al czy llm i chcecie 32gb bierzcie Intel arc pro b70 plus chłodzenie chodzi jak odrzutowiec i nic się z tym nie zrobi porażka za tą cenę tylko Intel jak 32gb albo coś z rtx nigdy więcej... Rozwiń dalej