Генерация кадров NVIDIA через Vulkan добавлена в FFmpeg — дорисовывать кадры можно будет и в видео

В главную ветку разработки мультимедийного фреймворка FFmpeg официально интегрировали новый видеофильтр fruc_vulkan (Frame Rate Up-Conversion). Функция позволяет генерировать промежуточные кадры в видеопотоке силами аппаратных блоков видеокарт NVIDIA, увеличивая частоту кадров (например, с 24 до 48 FPS или с 30 до 60 FPS).

Попытка внедрить фильтр интерполяции предпринималась еще в 2023 году, но была отклонена из-за проприетарной лицензии SDK NVIDIA. Новое решение извлекает векторы движения через расширение VK_NV_optical_flow, а сам композитинг и синтез кадров выполняет собственный открытый шейдер FFmpeg под лицензией LGPL. Использование Vulkan позволяет выстроить непрерывную цепочку обработки "декодирование → аппаратная интерполяция → аппаратное кодирование" целиком в видеопамяти без дорогостоящей пересылки кадров между CPU и GPU.

Фильтр работает на архитектурах Ampere, Ada Lovelace и Blackwell (GeForce RTX 30, RTX 40 и RTX 50). Архитектура Turing (RTX 20) не поддерживается из-за требований к версии Vulkan SDK и драйверам.