4166.com-4166金沙手机官网

English Version
当上地位: 4166.com > 全部专题 > 2018年 > 正文

VR底子理论的新进展——全景视频视觉 关注力模型的构建

导语:

2018年7月16日,人员高技术与机器进修区域顶级期刊《模式归纳与机器高技术汇刊(IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI))》(影响因子:9.455)接收了4166金沙手机官网电子信息工程学院王祖林教授、徐迈副教授的最新研究成果“强化进修在预测视觉 关注力范围中的模型构建”。学生作者为2014级本科生宋宇航、王建伊、樵明朗,教师作者为徐迈和王祖林,北京航空航天大学为论文唯一单位。  

制定准则时的思维火花

徐迈副教授的TEAM一直在参与VR(虚拟现实 技术实现 )准则的制定,到目上已经参与了四次VR准则制定的会议,多项提案被万国准则采纳。VR中最要紧的一环就是全景视频的处理与传输。由多个不同角度的镜头来录制全景信息,并对画面进行拼接,形成能显示容量一切方位的视觉图像,这样的视频就是全景视频。全景视频需要非常高的分辨率支持(如8K甚至16K),才能实现用户身临其境的沉浸式体味。

图1.全景视频  

在参与VR相关准则制定的过程中,徐迈副教授认为,当上的准则主要分为两个方向---球面映射和用户体味,易于 ,一直带领TEAM致力于提升用户体味和解决相关实际小case。高分辨率视频的处理需要消耗大量的计算资源和通信带宽,而由于VR头盔自身计算能力和无线传输带宽的限制。如何在保持视频质料不变的上提下,减少处理和传输的数据规模,提升用户体味,就成为了当上全景视频及VR研究的细节小case。针对这一小case,徐迈副教授带领他的TEAM展开了探索。

实验室强项与小case结合

人眼有数十亿的视锥视杆细胞,相当于十多亿像素高清相机,而眼部与大脑之间的神经节细胞仅为数万个,相当于数据传输速率只有8Mbps,这说明说大脑并没有全部处理一切图像数据,而是决定性地处理了一些区域,而这些区域就被称为感知区域。按照人眼work机理,建立全景视频 关注力模型就成为了TEAM的要紧研究work。

在观看全景视频的时候, 人类通过把握头部运动易于 来把握视野范围,进而产生身临其境的交互式沉浸体味。易于 ,预测头部运动是构建全景视频 关注力模型的关键。该论文首次建立了一个全景视频 关注力的数据库,获得58名被测者观看76个全景视频序列时的头动及眼动地位。经过四个月的数据清洗和处理,通过对头动数据的追踪,形成每个视频逐帧的热点图。最终,论文首次揭示了人类观看全景视频的视觉机理。

图2.不同算法预测结果对比  

在对热点图归纳下,TEAM发现,尽管不同的人观看同一始末时感知区域存在一定异议,但与视频始末依然具有强关联性。基于此,可构建预测模型,预测人类观看全景视频时的头动地位。而这种模型的构建机理,又与强化进修方法有本质上的联系。易于 ,他们提出一种新型的深度强化进修(DRL)模型,构建高技术体模拟人类行为,预测人类观看全景视频时的头部运动。首次提出全景视频视场热点图的生成方法,可离线地预测全景视频视场,并提出一种全景视频的在线生成方法,可在线实时预测全景视频视场。末了,实验结果验证:与上卫算法相比,论文提出的算法所预测视野热点图,CC(和真实结果的相关系数)精度提升超过20百分比。论文对全景视频的压缩,渲染,感知,有着广泛的应用场景,为提升全景视频用户体味供给了理论支撑。

图3.全景视频视觉 关注力模型示意图

图4.对主题偏见取不同准则差和权重系数下预测结果的CC值拟合曲面  

本科生科研与不懈探索

此项研究成果完全由三个本科生在徐迈副教授的指导下完成,徐迈副教授对他们有很高的品评:“本科生有较强的研究积极性,再是在齐心协力合作上表现很好,虽然学位上比起其他的投稿人欠缺一些说服力,但最终结果灰子 呛玫摹!比煌П硎荆谒堑氖状慰蒲泄讨杏龅搅撕芏嗬眩炻醺苯淌诜浅H险娓涸鸬姆鲆此墙饩鲇龅降拿恳桓鲂ase,经常凌晨一两点发出的小case都能迅速的收到详尽的回复和解答;每周都要集体开会聊下实行工过程、所遇到的小case和接下来的方向;在论文第一次收到大修意见下,徐迈副教授鼓励众家继续努力,并且和他们一起对论文进行了数次修改,才最终被接收。

结语:

新思路与新视角会带来新的变革,使用不同于上卫信号处理的深度进修和强化进修等多种方法,徐迈副教授和他的TEAM从新的角度完成了对全景视频视觉 关注力模型的构建,实现了全景视频所需计算资源与通信带宽的压缩,为VR大规模实用化供给了非常有利的条件,有很广的应用价值。接下来他们将会继续将研究深入下去,逐步解决在实际应用中所遇到的小case,进一步改善全景视频的用户体味。除了在全景视频区域进行了开创性的研究外,徐迈副教授和他的研究TEAM也在对包括图像、普通视频的各关键进行着提升用户体味的研究。相信在明朝,他们能继续在这个区域取得更好优质的突破性成果。

 

该论文得到了国家自然科学基金及4166.com青年拔尖人才基金的支持。  

论文链接:https://ieeexplore.ieee.org/document/8418756/

porject链接:  https://github.com/YuhangSong/DHP

 

文案:曾嘉琪、曹嘉辉

采访:曾嘉琪

策划:杨彦卓

编审:4166.com门户网站总编总监work使用室

投稿:geoos@buaa.edu.cn
 

上一条:国家网络安全宣传周:网络安全为人民,网络安全靠人民

下一条:4166金沙手机官网表彰第二届“立德树人奖”获奖教师

XML 地图 | Sitemap 地图