近日，西安电子科技大学人工智能学院石光明教授、吴金建教授、李雷达教授带领团队博士生分别在事件相机去噪、图像美学计算研究等领域取得了重要进展，相关学术成果发表于人工智能领域国际顶级期刊《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》（TPAMI，一区，IF=20.8）。TPAMI作为人工智能领域最具影响力的学术期刊之一，在全球范围内享有盛誉，收录的研究成果通常代表了该领域的最高水平。下面简要介绍2篇论文。
01
论文一
《Fast Window-Based Event Denoising with Spatiotemporal Correlation Enhancement》，人工智能学院方华晨博士为第一作者，吴金建教授为通讯作者。（论文链接：10.1109/TPAMI.2024.）
事件相机是一种新型仿生传感器，与传统相机积分成像不同，事件相机异步捕捉动态信号。受生物视觉系统动态感光机制启发，课题组设计了一款动态感知芯片（如图1（b），研制了一款仿生相机（如图1（c），该相机具备高时间分辨率、大动态范围等特点，在智能制造、自动驾驶、安防监控等领域实现了创新性突破。
图1 自研晶圆、芯片和相机
然而由于差分成像系统信号触发特性，事件流数据伴随着大量噪声，限制了事件相机的发展。现有深度学习的事件去噪方法大多存在可解释性差和实时处理困难的问题。本文提出了一种基于窗口的事件去噪方法，同时处理窗口内所有事件，大大提升了去噪速度。
此外，本文构建了一个新的基于多尺度窗口的事件去噪网络WedNet，并基于时间和空间域的概率分布进行了理论分析。在时间域中，我们使用时间窗（TW）模块来判断时间相关性以过滤出时间无关的事件。在空间域中，我们选择最大后验概率（MAP）来区分真实世界的事件和噪声，并使用学习到的卷积稀疏编码来优化目标函数，构建了软阈值空间特征嵌入（SSFE）模块。
图2 事件窗口去噪网络
研究成果WedNet在四个公开数据集上实现了最高去噪精度（PSNR：25.73dB）和最快速运行速度（112.17s），为复杂场景中实现实时去噪提供了可能。
论文主要作者简介
方华晨，西安电子科技大学人工智能学院博士生，本科就读于西安电子科技大学人工智能学院智能科学与技术专业，2020年获得学士学位，同年推免至吴金建教授课题组，并获得哥伦比亚大学（CU）以及南加州大学（USC）等QS TOP30大学offer。目前攻读博士学位，曾在ACM MM（CCF-A类）会议上进行分组报告展示（Oral），并在TPAMI等高水平学术期刊发表论文。目前研究方向主要包括图像处理和事件相机去噪。
吴金建，西安电子科技大学“华山学者”特聘教授、博士生导师，国家级青年人才。分别于2008年、2014年获得西安电子科技大学学士、博士学位，2019年破格晋升教授。获国家自然科学二等奖、陕西省自然科学一等奖、广东省人工智能产业协会发明一等奖、教育部霍英东青年基金等。面向人工智能国家战略及重大需求，长期从事仿生成像、智能信号处理等方面的理论和应用研究。主持国家重点研发计划重点项目课题、国家自然基金项目、教育部联合基金项目等多项课题，研制了微米级缺陷检测设备、低慢小探测设备等并已交付工厂/部队使用。在TPAMI、CVPR、NeurIPS、National Science Review、Advanced Science等发表相关学术论文百余篇，指导研究生获IEEE电路与系统旗舰会议ISCAS2013“最佳学生论文奖”、国际人工智能大会CICAI2021“最佳学生论文提名奖”等，连续多年入选全球前2%顶尖科学家（World's Top 2% Scientists）（美国斯坦福大学和爱思唯尔数据库（Elsevier Data Repository）发布）。个人主页：https://web.xidian.edu.cn/wjj/index.html。
02
论文二
《Multi-modality Multi-attribute Contrastive Pre-training for Image Aesthetics Computing》，人工智能学院黄一珀博士为第一作者，李雷达教授为通讯作者。
该论文考虑到现有的基于ImageNet数据集的预训练模型往往侧重于高层次语义特征，而忽略了图像中的美学要素，从而提出了一种基于多模态多属性对比学习的图像美学计算预训练方法。借助于多模态大语言模型对图像进行多维度人机混合标注，构建了多模态图像美学属性数据集，在此基础上采用多模态多属性对比学习进行模型训练。实验结果表明提出的方法在图像构图分类、构图回归、美学评价等多种美学相关任务上性能SOTA，相较于常用的ImageNet预训练在六个公开数据集上实现了全面领先优势。该研究成果在手机拍照、网络直播、图像编辑、人工智能生成内容（AIGC）以及艺术与设计等众多领域中都有重要的应用前景。
图3 多模态图像美学属性数据集的构建过程
图4 基于多模态多属性对比学习的预训练方法框图
论文主要作者简介
黄一珀，西安电子科技大学人工智能学院博士生，2023年10月至2024年10月赴新加坡南洋理工大学（NTU）联合培养。以第一作者或学生第一作者在国内外高水平学术期刊和国际会议上录用/发表论文10余篇，其中中科院一区和CCF-A类6篇；带领学生队伍获得CVPR NTIRE 2024人像质量评价挑战赛冠军；主持江苏省研究生科研与实践创新计划项目、校研究生创新基金项目和校“未来杰出人才助力计划”项目3项；参与导师主持的国家自然科学基金面上项目2项、省自然科学基金面上项目1项，产学研合作项目2项；获研究生国家奖学金、信捷企业奖学金等。研究方向包括：多模态大模型、图像美学计算、感知质量评价。
李雷达，西安电子科技大学“华山学者”特聘教授、博士生导师，国家级青年人才。主要研究方向为图像/视频质量评价、计算美学、视觉情感分析等；发表中科院一区和CCF-A类会议论文90余篇，Google学术引用7300余次，H指数45，6篇论文入选ESI热点/高被引论文；主持国家自然科学基金项目5项，与华为、腾讯、OPPO、优必选等公司开展产学研项目合作，获OPPO“产学研优秀合作伙伴”奖，研究成果应用于OPPO ColorOS、腾讯会议等；获省部级科研成果奖励5项，授权国家发明专利20余项。现为SCI国际期刊Journal of Visual Communication and Image Representation（2021/2023最佳编辑奖）和EURASIP Journal on Image and Video Processing副主编，《中国图象图形学报》青年编委（2022年优秀编委），CSIG情感计算专委会和CAAI智能光学成像专委会常务委员，连续多年入选全球前2%顶尖科学家榜单（World's Top 2% Scientists）（美国斯坦福大学和爱思唯尔数据库（Elsevier Data Repository）发布）。个人主页：https://web.xidian.edu.cn/ldli/index.html。
E
N
D
文案编辑 | 方华晨 黄一珀
排 版 | 邓 婕
责任编辑 | 田 臻
审 核 | 马晶晶
版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/bcyy/45927.html