盖世汽车讯 想象一下看一会儿繁忙的街道,然后尝试勾画出从记忆中看到的场景。大多数人都可以画出汽车、人和人行横道等主要物体的大致位置,但几乎没有人能够以像素完美的精度画出每个细节。大多数现代计算机视觉算法也是如此:它们非常擅长捕捉场景的高级细节,但在处理信息时会丢失细粒度的细节。
据外媒报道,麻省理工学院的研究人员创建出名为“FeatUp”的系统,可以让算法同时捕获场景的所有高级和低级细节——几乎就像计算机视觉的激光近视手术一样。
当通过查看图像和视频来学习“看”时,计算机会通过称为“特征”的东西建立对场景中内容的“想法”。为了创建这些功能,深度网络和视觉基础模型将图像分解为小方块网格,并将这些方块作为一个组进行处理,以确定照片中发生了什么。每个小方块通常由16到32个像素组成,因此这些算法的分辨率比它们处理的图像要小得多。在尝试总结和理解照片时,算法会损失大量像素清晰度。
FeatUp算法可以阻止这种信息丢失并提高任何深度网络的分辨率,而不会影响速度或质量。这使得研究人员能够快速、轻松地提高新的或现有算法的分辨率。例如,想象一下尝试解释肺癌检测算法的预测,以定位肿瘤。在使用类激活图等方法解释算法之前应用FeatUp,可以根据模型产生肿瘤可能所在位置的更加详细的(16-32x)视图。