麻省理工学创建“FeatUp”系统可以让算法同时捕获场景内所有高级和低级

时间:2024-03-20       来源: 盖世汽车       阅读量:7331   

盖世汽车讯 想象一下看一会儿繁忙的街道,然后尝试勾画出从记忆中看到的场景。大多数人都可以画出汽车、人和人行横道等主要物体的大致位置,但几乎没有人能够以像素完美的精度画出每个细节。大多数现代计算机视觉算法也是如此:它们非常擅长捕捉场景的高级细节,但在处理信息时会丢失细粒度的细节。

据外媒报道,麻省理工学院的研究人员创建出名为“FeatUp”的系统,可以让算法同时捕获场景的所有高级和低级细节——几乎就像计算机视觉的激光近视手术一样。

当通过查看图像和视频来学习“看”时,计算机会通过称为“特征”的东西建立对场景中内容的“想法”。为了创建这些功能,深度网络和视觉基础模型将图像分解为小方块网格,并将这些方块作为一个组进行处理,以确定照片中发生了什么。每个小方块通常由16到32个像素组成,因此这些算法的分辨率比它们处理的图像要小得多。在尝试总结和理解照片时,算法会损失大量像素清晰度。

FeatUp算法可以阻止这种信息丢失并提高任何深度网络的分辨率,而不会影响速度或质量。这使得研究人员能够快速、轻松地提高新的或现有算法的分辨率。例如,想象一下尝试解释肺癌检测算法的预测,以定位肿瘤。在使用类激活图等方法解释算法之前应用FeatUp,可以根据模型产生肿瘤可能所在位置的更加详细的(16-32x)视图。

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。