Google начала разбирать старые серверы ради дефицитной DDR4-памяти

Дефицит оперативной памяти добрался до крупнейших поставщиков ИИ-инфраструктуры: Google, по данным отраслевых источников, начала возвращать списанные серверы в эксплуатацию, чтобы извлекать из них исправные модули DDR4 для новых систем.

Старший директор Google по инфраструктуре цепочек поставок Нихил Чериан рассказал, что рынок ИИ стремительно прошел путь от дефицита вычислительных мощностей к нехватке памяти. Сейчас высокопроизводительная память может составлять около 75% стоимости комплектующих ИИ-сервера. Чтобы снизить зависимость от поставок, Google разбирает выведенные из эксплуатации машины и выстраивает собственную систему переработки компонентов.

Компания даже разработала специальные адаптеры, позволяющие подключать память предыдущего поколения к новым ИИ-серверам. В Google, как утверждается, специально возвращают списанные серверы, чтобы снять с них пригодные модули DDR4. Параллельно инженеры оптимизируют библиотеки, архитектуру моделей и сжатие KV Cache, стараясь уменьшить объем памяти, необходимый для выполнения вычислений. В этом году Google также представила две версии своих TPU: TPU8t для обучения моделей и TPU8i, ориентированную на инференс.