Четыре NVIDIA DGX Spark за $40 000 смогли запустить DeepSeek V4.1-Flash почти на скорости Cerebras

Домашняя AI-система из четырех NVIDIA DGX Spark показала впечатляющую производительность при работе с DeepSeek V4.1-Flash. Компактный кластер с 512 ГБ объединенной памяти выдал почти 500 токенов в секунду.

Автор эксперимента, технический эксперт Патрик Мурхед, собрал четыре DGX Spark в небольшом домашнем серверном шкафу, объединив их напрямую в кольцевую сеть без Ethernet-коммутатора. Каждый компьютер оснащен 128 ГБ унифицированной памяти, а суммарный объем системы составил около 512 ГБ. Такой подход позволил обойтись без дополнительного дорогого оборудования, которое NVIDIA рекомендует для подключения четырех узлов.

В качестве нагрузки Мурхед выбрал DeepSeek V4.1-Flash на 552 млрд параметров. Благодаря архитектуре модели и оптимизациям вроде FP4-квантизации ей требуется значительно меньше памяти, чем можно было бы ожидать от модели такого масштаба. В результате кластер достиг пиковой скорости 494 токена в секунду при обработке кода и 280 токенов в секунду для обычного текста при 32 одновременных запросах. Один запрос обрабатывался со скоростью около 58 токенов в секунду для текста и 96 для кода, а первый токен появлялся примерно через 0,2 секунды.

Правда, домашним этот компьютер можно назвать с некоторой натяжкой. Четыре DGX Spark обходятся примерно в $22 000–36 000, а с кабелями, стойкой, охлаждением и остальными компонентами итоговая цена достигает $25 000–40 000. Зато владелец получает собственный AI-кластер без API-лимитов и абонентской платы — весьма дорогой способ сказать облаку: «спасибо, дальше я сам».