4166.com-4166金沙手机官网

English Version
当上地位: 4166.com > 全部专题 > 2017年 > 正文

视觉“聚焦”——了解视频图像显著性检测

导语:    

   人类视觉系统(HVS)的研究发现,人们在观察视频图像时,习惯把大部分 关注力聚集在视觉聚焦点周围的小范围区域内,并赋予这个区域很高的分辨率,而聚焦点外的范围则以较低分辨率呈现,这种预测视觉关注区域的过程就叫显著性检测。4166.com万国交叉科学研究院、电子信息工程学院徐迈副教授的研究TEAM开展了视频和图像显著性检测模型的研究,成果现已发表至《IEEE Transactions on Image Processing》、《International Conference on Computer Vision (ICCV)》、《Computer Vision and Pattern Recognition (CVPR)》等万国要紧期刊与会议上,并在多媒体通信区域内引起广泛好评。    

 

研究背下:通信道路的“拥堵”

科研是为制造更好的明朝,其灵感也源于现实生活的不足。通过高技术终端欣赏视频资源,已经成为人们日常生活中必不可少的环节。用户对获取更高清视频需求在日益增长,使得通信区域的热点,聚焦在了如何实现海量高清音像视频数据更高效地传输。    

视频通信区域的瓶颈在于随着超高清视频与全景视频的发展,网络需要传输的数据量在不断膨胀,但是传输数据的带宽却是有限的。正如容量有限的公路上行驶的车越来越多,匆子 侄靡⒌缆酚刀隆5毕拢邢薮硐碌氖悠蹈咝Т洌殉晌ㄐ徘蜇酱饩龅男ase。    

灵感来源:上沿热点的融合

徐迈老师及其课题组的研究兴趣为视频通信与图像处理,他们在研究压缩编码的过程中受人员高技术和机器进修的启发,通过研究人类观看视频的用户体味,为视频压缩供给了新的解决思路。人类视网膜相当于以亿为单位像素级其余高清相机,人在观察视频图像时有一种聚焦“Attention(关注点)” 的机能,能够发挥“删繁就简”的功能能力,对于呈现给视觉的场景,只有吾们关注的区域会很清楚,而周围则会出现相对模糊的环境。    

受到启发的徐迈老师及其课题组大胆提出假设:如果为计算机赋予人的视觉机能,压缩视频数据时在人们视觉关注度高的区域分配更好优质的编码资源,使得视频压缩下仍能够达成人们视觉体味上高质料的成果,再是在周围节省编码资源。借鉴“Perceptual Video Coding(感知视频编码)”的“感知” 技术实现 ,徐老师推动这一新的研究方向:建立人在视频图像中的关注区域预测模型,以预测视频图片场景中的视觉关注聚集域。    

研究拓展:年轻TEAM的合作

为了探索出人类视觉关注区域的模型,徐迈老师带领TEAM展开研究。TEAM中较大的成员为一名大三年级的本科生,徐老师说:“学生的兴趣与个人能力,才是开展科学研究的关键圆素”。易于 在徐迈老师的TEAM中,学生年龄呈现年轻化的特点。    

研究TEAM通力合作,从数据出发,利用机器进修方法挖掘人体视觉吟味规律。TEAM邀请多位被试者走进实验室,记录被试者观看视频时关注区域的结果数据,以实际采集到的数据为驱动,运用支持向量机和深度进修方法建立机器进修模型,实现视频关注区域的预测。    

徐迈老师TEAM视频显著性检测的研究成果,不但能应用于视频图像压缩,还能够应用于多种区域,如对网页和找子 九虐娌呋蚬└傅迹ü侠戆卜磐急辍⑽淖郑髡渫肌⑴渖梢源锏浇闲〕潭萩are到视觉 关注力的倾向。而徐迈老师TEAM的下一步研究细节,将尝试拓展至具有“交互性、沉浸式”特点的全景视频新鲜区域。TEAM也将商讨与其他科研TEAM的合作Plan,实现多学科之间竞相交叉研究。    

 

策划/文案:秦煜瑶、张金星

外文编辑:刘昕睿

策划:秦煜瑶 技术实现 :曹嘉辉

鸣谢:万国交叉科学研究院、电子信息工程学院徐迈副教授

编审:门户网站总编总监work使用室

投稿:geoos@buaa.edu.cn

 

XML 地图 | Sitemap 地图