Сотрудник Nvidia Джейкоб Фридман (Jacob Freeman) в недавнем интервью раскрыл принципы работы новой технологии масштабирования с использованием искусственного интеллекта — DLSS 5. Основными исходными данными для системы являются двухмерный отрисованный кадр и векторы движения.
Интересно, что DLSS 5 не учитывает трёхмерную геометрию сцены, глубину или данные о материалах. Вместо этого ИИ-модель анализирует семантику сцены: идентифицирует волосы, ткань, кожу и условия освещения. При этом ей достаточно одного кадра для выполнения этой задачи.
Технология не считывает металличность, шероховатость или карты нормалей, что может объяснять непредсказуемое поведение в некоторых случаях. Например, на одном из демонстрационных примеров персонаж получил волосы, которых не было в оригинале, а у другого черты лица изменились. Nvidia заявляет, что "базовая геометрия не изменилась", и это была "очень ранняя предварительная версия технологии".
Разработчики имеют ограниченные возможности для управления DLSS 5: они могут регулировать интенсивность, цветокоррекцию, смешивание, контраст, насыщенность и гамму. Кроме того, можно применять маски для исключения определённых объектов из алгоритмов улучшения. Однако конкретные методы коррекции черт лица или исключения эффекта макияжа не предусмотрены — только снижение интенсивности, наложение масок или полное отключение алгоритма.
Лица в сцене по-прежнему будут генерироваться ИИ, что может приводить к непредсказуемым результатам. Остается видеть, как эти аспекты будут улучшены в финальных версиях DLSS 5.
