ИИ-фильтр изображения NVIDIA DLSS 5 получил новые пояснения

На прошедшей конференции SIGGRAPH компания NVIDIA поделилась новыми подробностями о своем фильтре изображения DLSS 5. Если первые версии DLSS занимались масштабированием разрешения и генерацией кадров, то пятое поколение будет перерисовывать части или целые кадры на экране за счет применения нейросетевых фильтров поверх уже отрендеренного кадра.

DLSS 5 включает в себя сразу три разные модели ИИ с индивидуальными параметрами. Авторы игр смогут выбирать подходящую модель под конкретные локации или даже переключать их от сцены к сцене.

Силу работы нейросети в перерисовывании отрендеренных кадров можно регулировать отдельно для каждого объекта или персонажа. Например, разработчики могут применить ИИ-генерацию только к лицу главного героя или материалу его одежды, полностью отключив влияние DLSS 5 на окружающий мир. Для этого будет использоваться нейросетевой алгоритм определения нужных объектов в отрендеренном изображении и векторы движения. Как и говорилось ранее, у DLSS 5 будет только информация о цветах и векторах движения, а все остальное будет додумывать нейросеть.

Во время первых ранних демонстраций на мартовской выставке GTC систему запускали на монструозной связке из двух видеокарт GeForce RTX 5090 (одна рендерила саму игру, а вторая обсчитывала нейросеть). На SIGGRAPH инженеры подтвердили, что к осеннему релизу DLSS 5 будет полностью оптимизирована для работы на одной видеокарте. И да, релиз DLSS 5 все еще запланирован на осень текущего года.