要拍慢动作视频，必须用昂贵的高速摄像机。
不！可以用AI。
看，这就是人工智能所做的！
虽然它无法与至少有数千帧的真正高速相机相比，但它可以轻松地将视频从每秒53帧更改为每秒960帧，而且没有伪像和噪音。
很多网友看了之后都受不了这个效果我真的想要一个深入的教程，你能启动一个应用程序吗
这个很酷的研究成果也成功入选了CVPR 2021，研究人员来自华为苏黎世研究中心和苏黎世大学。
为了达到这种效果，我们并没有采用通过视频光流猜测粒子运动的经典思路，而是先用两台摄像机捕捉画面。
一种是普通相机，记录低帧实拍图，
怎么办。由另一台特殊的照相机拍摄，mdash
也就是事件摄像机，它使用一种新型的传感器，拍摄事件，即记录像素亮度变化。
相机还是比较新的，实验室有很多，市场上还没有大规模出现报价为2000美元或以上
由于摄像机记录的信息经过压缩和表达，可以以更低的清晰度和更高的速度拍摄，即以牺牲图像质量为代价获得更多的图像信息。
最终的信息量足以让AI理解粒子的运动，便于后续的插值。
这是这两个摄像头拍摄的内容结合在一起的:
拍摄后，可以使用机器学习，最大限度地利用这两个摄像头的信息进行插帧。
这里研究者提出的AI模型叫做时间镜头，分为四个部分。
首先，由两个相机捕获的帧信息和事件信息被发送到前两个模块:的基于变形的插值模块和合成插值模块。
基于变形的插值模块使用U形网络将运动转换为光流表示，然后将事件转换为真实帧。
合成插值模块还使用U形网络将事件放置在两个帧之间，并为每个事件直接生成一个新的可能帧。
该模块可以很好地处理新对象和帧间的光线变化。
但是，如果你来这里，合成视频可能会有问题很吵
这时，第三模块的作用就发挥出来了，它利用第二插值合成模块中的新信息对第一模块进行细化。
即从同一事件的两个生成帧中提取最有价值的信息，进行变形优化mdashmdash再次使用U—net网络生成事件的第三帧版本。
最后，这三个候选帧被输入到基于注意力的平均模块。
该模块使用三帧表示的最佳部分来形成最终帧。
现在，在帧之间有了第一个事件的高清帧后，对事件摄像机提供的所有事件重复这个过程，我们就可以生成我们想要的最终结果。
这是使用AI创建真实慢动作视频的方法最近怎么样
附上相机参数图:
你说这个AI模型效果好，你要对比一下。
例如，与最好的插值模型之一DAIN相比，谁好谁坏是显而易见的。
而且其插值方法的计算复杂度也是最好的图像的分辨率是640倍480，在研究人员的GPU上执行单次插值时，DAIN模型需要878毫秒，而AI只需要138毫秒
另外，虽然不推荐，但这个模型输入的视频即使只有5个也能产生慢动作。
与其他模型的实验数据对比，有兴趣可以查看论文。
最后，在介绍结果的视频中，笔者再次表示，相比昂贵的专业设备，该机型至少达到了智能手机等机型无法达到的效果。
我是华为苏黎世研究中心的机器学习研究员Stepan Tulyakov。
合著者丹尼尔格赫里希，苏黎士大学博士生苏黎世联邦理工学院机械工程硕士
论文地址:
开源地址:
