Nvidia AI将常规视频转换为240fps高速视频

拍摄慢动作视频需要捕获超过每秒30或60帧的标准帧。您可能并不总是拥有能够做到这一点的硬件,但是Nvidia拥有解决方法。它开发了一种新的AI算法,可以将您的常规视频和 一无所有建立新框架 拍摄活动后创建高速视频。英伟达通过一系列GPU和神经网络实现了这一壮举。

高速视频比以往任何时候都更容易访问。当像Galaxy S9之类的手机能够以每秒240帧的速度拍摄时,您不需要数千美元的摄影机设备即可捕捉慢动作中的物体。但是,有限的存储空间和处理能力意味着您只能拍摄几秒钟的高速视频。很少有消费者会购买专门设计用于捕获高速视频的设备。因此,Nvidia的系统可以通过查看现有的帧来拍摄常规视频并使其高速播放。然后,它会创建新的中间帧(最多七个),因此当您放慢速度时,运动会更加平滑。



新框架非常逼真,但不是真实的-大多数框架都是计算机生成的。 Nvidia使用Tesla V100 GPU和cuDNN神经网络框架来构建用于将视频处理为高速视频的模型。该团队以每秒240帧的速度拍摄了11,000多个日常事件视频,对网络进行了培训。网络学会了如何模拟240fps视频,从而可以预测每秒只有30帧的视频中的额外帧。





Nvidia成功地减慢了30 fps的视频,其中包括横穿马路的汽车打滑,参加体育运动的人们等等。如果没有来自神经网络的插值帧,则放慢该视频的播放速度只会使其看起来像断断续续的定格动画。该网络甚至可以处理已经以慢动作拍摄的视频。 Nvidia使用了YouTube系列影片《慢动作男》中的镜头,该镜头已经以240fps的速度拍摄。小组以相同的平滑运动将这些视频放慢了四倍。



Nvidia展示的例子令人印象深刻。如果您不知道这些镜头主要是计算机生成的,那么您可能不会怀疑有任何问题。但是,一个明显的限制是神经网络不能只处理任何旧视频。它已针对某些类型的视频进行了培训,因此只能减慢类似30fps的视频的速度。例如,为了减慢汽车打滑的视频,Nvidia需要使用汽车打滑的高速视频来训练网络。对于一个研究项目,这仍然是相当可观的。希望它有一天成为一种真正的消费技术。