iPhone 18 Pro научили запускать огромную ИИ-модель вдвое быстрее

Apple заметно прокачала возможности локального ИИ в A20 Pro. Новый iPhone 18 Pro способен запускать модель Bonsai 27B примерно в два раза быстрее предшественника, хотя впечатляющий результат упирается в довольно прозаичное ограничение — объём оперативной памяти.

Главным новшеством A20 Pro стал Neural Engine с двумя блоками по 16 ядер. В паре с 12 ГБ более быстрой LPDDR5X и пропускной способностью памяти 115,2 ГБ/с это позволяет iPhone 18 Pro значительно ускорить генерацию токенов. Демонстрацию работы Bonsai 27B провёл Адриен Гронден, показав, насколько бодро смартфон справляется с моделью на 27 млрд параметров без подключения к облачным серверам.

Но есть нюанс. Более новая Bonsai 2 использует 2-битную квантизацию и уже оказывается слишком большой для комфортного локального запуска на iPhone 18 Pro. Из-за нехватки памяти производительность заметно снижается. Предыдущая версия Bonsai с 1-битной квантизацией гораздо менее требовательна и способна нормально работать даже на устройствах с 4 ГБ ОЗУ.

В итоге A20 Pro действительно превращает iPhone в более серьёзную платформу для локального ИИ, но сама вычислительная мощность — лишь половина истории. Даже самый продвинутый Neural Engine не сможет заставить модель поместиться в память, которой физически недостаточно.