Qualcomm обещает смартфоны с ИИ на 100 млрд параметров к 2028 году — но есть проблема с памятью

Глава Qualcomm Криштиану Амон считает, что уже к 2028 году смартфоны смогут непрерывно запускать большие языковые модели на 100 млрд параметров. По его словам, ИИ-компании уже работают над такими устройствами. Правда, остаётся вопрос: где производители найдут столько памяти и кто заплатит за неё на фоне дефицита DRAM?

Даже сжатая до 4 бит модель на 100 млрд параметров потребует около 50 ГБ оперативной памяти — и это без учёта нужд системы и других приложений. При 2-битном сжатии объём снизится примерно до 25 ГБ, но и такая конфигурация заметно превосходит привычные возможности современных смартфонов. Дополнительная проблема — нагрев: постоянная работа с крупной нейросетью может перегружать чип и приводить к снижению производительности.

Один из вариантов — хранить часть модели во флеш-памяти, загружая необходимые данные по мере работы. Другой — использовать архитектуру MoE, при которой для каждого запроса активируется лишь часть нейросети, а остальные компоненты остаются на накопителе. Однако флеш-память значительно медленнее оперативной, поэтому скорость обработки запросов может пострадать. Агрессивное сжатие тоже помогает уменьшить требования, но способно ухудшить качество ответов.

Более практичным решением могут стать компактные модели на 20–30 млрд параметров, обученные так, чтобы приблизиться по качеству к гораздо более крупным системам. Пока Амон не представил конкретного плана реализации своего прогноза. Поэтому смартфоны с локальным ИИ на 100 млрд параметров к 2028 году остаются амбициозной перспективой, а не гарантированным технологическим прорывом.