DeepSeek сможет работать с меньшим потреблением памяти

Китайская лаборатория DeepSeek, стоящая за одними из самых эффективных открытых ИИ-моделей, представила технологию под названием Engram. Этот новый модуль «условной памяти» призван решить фундаментальную проблему современных нейросетей — их зависимость от дорогой видеопамяти графических процессоров. Технология уже доступна в виде открытого кода на GitHub и, по слухам, станет основой для будущей модели DeepSeek V4.

Суть Engram заключается в структурном разделении вычислительной логики и накопленных фактов. Традиционные модели тратят огромные ресурсы на то, чтобы "вычислить" простые данные, заложенные в их параметрах. Engram же работает как сверхбыстрая справочная библиотека: вместо того чтобы заново восстанавливать статичные паттерны, модель мгновенно извлекает их из таблицы поиска. Это освобождает основные слои нейросети для выполнения действительно сложных задач по рассуждению и анализу.

Для индустрии это означает возможность тренировать и запускать гигантские модели на гораздо более скромном и доступном железе. В будущем это может привести к созданию ИИ-ассистентов, которые идеально помнят контекст разговоров месячной давности и обладают энциклопедическими знаниями, не требуя при этом целых ферм из топовых GPU.