Кэш L2 можно заменить на длинные оптические кабели для ИИ — Джон Кармак поддерживает эту идею
Джон Кармак, легендарный программист и создатель Doom и Quake, снова будоражит умы индустрии своими нестандартными идеями. Кармак предложил использовать сверхдлинные оптоволоконные линии в качестве альтернативы традиционной оперативной памяти для нужд современного искусственного интеллекта. Идея кажется безумной, но, как это часто бывает у Кармака, за ней стоит строгая математическая логика.
Современные ИИ-модели (LLM) упираются в "стену памяти": данных слишком много, а передавать их из видеопамяти в вычислительные ядра приходится постоянно. Кармак предлагает хранить эти данные не в транзисторах или конденсаторах, а буквально в пути — в виде световых импульсов внутри длинных катушек оптоволокна.
- Данные переводятся в световые сигналы.
- Эти сигналы отправляются в оптоволоконный кабель длиной в несколько километров, свернутый в компактную катушку.
- Свет движется по кабелю, выполняя роль «хранилища на лету». На другом конце кабель закольцован: данные считываются, восстанавливаются и отправляются обратно в цикл.
И зачем все это?
Оптоволокно может передавать терабиты данных в секунду, что позволяет получать гигантскую пропускную способность такого кэширующего решения. В это же время экономится энергия, а масштабировать подобные решения гораздо проще — просто добавь больше оптоволокна.
Единственным же минусом тут выступают задержки. Километровый кабель создаст задержку в 5 микросекунд, а это в тысячи раз больше, чем у кэша L2. Однако, как заявляет Кармак, для языковых моделей эти задержки не особо-то и важны, им важна именно пропускная способность потоковой передачи данных. Если архитектура чипа будет понимать, что данные придут ровно через 5 микросекунд, но и с вычислениями никаких проблем не возникнет.
