所属栏目:新闻中心发布时间:2026-03-10浏览量:684
清华大学电子工程系向涛团队在《南京信息工程大学学报》发表论文《基于中高位视频监控的图像及视频质量增强算法》,针对现有图像视频恢复增强方法的不足,提出了基于语义特征提取的神经网络模型质量增强算法,搭建起语义特征图像恢复增强框架并实现退化与重建模型联合优化。经公开数据集验证,该算法相较PULSE超分辨率算法实现RankIQA得分50%的提升,重建画质与原始高清素材得分接近,81%的重建结果在用户评价中优于对比算法,大幅提升了图像和视频的重建质量。

中高位视频监控广泛应用于智慧城市、森林防护、边境防御等场景,但监控视频数据量巨大,压缩传输易造成画质失真,现有恢复方法常存在主观感知质量不佳、功能单一等问题,难以兼顾压缩效率与重建效果。
为此,团队提出的创新算法核心在于语义特征提取与双模型联合优化:先通过神经网络对监控视频做语义特征提取,提升视频压缩率以实现高效传输,再依托恢复增强网络完成视频复原;同时建立退化模型与重建模型的联合优化框架,将图像恢复拆解为退化过程和高清图像分布两大估计问题,利用生成模型捕捉自然图像分布,通过条件自回归模型对退化过程做概率化建模,还引入MMD最大平均差异约束,解决了隐变量求解中重建结果不自然的问题。
团队在CelebAHQ、FFHQ等公开数据集开展多维度实验,分别测试了算法在图像超分辨、JPEG压缩失真恢复等场景的性能,并与双立方采样、PULSE等主流方法对比。实验结果显示,该算法能有效弥补低分辨率图像细节缺失,修复压缩导致的画质失真,解决了传统方法边缘过渡生硬、颜色不自然等问题。在量化评价中,算法RankIQA得分仅9.37,远优于PULSE算法的21.33,60名被试的主观评价中,81%的受试者认为该算法重建结果更自然高清。
该算法突破了传统图像恢复方法的局限,无需人为假设退化模型,适配多种图像失真类型,为中高位监控视频的高效传输与高质量重建提供了新方案。团队表示,后续将进一步考虑视频帧间依赖与连续性,加入时域信息约束,提升算法在复杂场景下的适用性,让技术更好地服务于各类视频监控实际应用。