智能高清“魔法”　给影像开“美颜”

研发团队成功修复珍贵影像资料

与以往的人工影像修复不同，人工智能驱动的视频智能增强技术带来了高效、强大的修复能力。

在上海交通大学未来媒体网络协同创新中心，一支2022年度上海市科学技术一等奖获奖团队开发了一套自主生态的智能视频增强系统，并不断以新技术、新模型为真实世界的影像创造“高清美颜魔法”。

纪录片《开国大典》中，天安门城楼上毛泽东主席头上的发丝、胸前的飘带清晰可见；87版电视剧《红楼梦》里，晶莹的泪珠顺着林黛玉的面颊滑落……上海交通大学科研团队用自主研发的技术修复并提升影像画面质量，让视频更清晰更流畅，为观众带来更具沉浸感的观看体验。

聪明识别“无中生有”

录像带、光盘磁力消退、发霉长斑，珍贵历史影像资料因岁月流逝而暗淡、斑驳、缺损，历史文化珍档需要新的工具来实现传承和保护；视频观看体验正迅速进入超高清时代，但是全国数千个电视频道仅有9个提供超高清内容，超高清视频资源仍然稀缺。为保护传承历史影像和补充超高清视频内容，能够实现高分辨率、高流畅度的视频增强技术成为大量存量视频的“美颜魔法”。

但是，一方面，传统技术大量依赖人工，昂贵低效，难以规模化推广；另一方面，真实中的视频来源、内容和损伤多种多样，也为视频增强性能带来极大的挑战。“修复和增强其实是一件‘无中生有’的事。”项目领衔人张娅教授说，画面中受损丢失的部分要得到复原，实际上是计算机“插入”像素值来“填色”。

计算机要如何“补缺”？同样是“脸”，处理却不同——高清的孙悟空要锐化，才能看到根根分明的毛发；高清的林妹妹却要“磨皮”，展现娇嫩肤质。张娅教授说，团队让计算机通过内容语义的分区识别，可以聪明“辨清”人脸、建筑或自然场景等画面不同区域，再自适应地选择更加匹配对应的区域的参数，让画面合理且清晰。

多管齐下 修旧如旧

“各种历史影像退化情况不同，有的是条纹噪声，有的是斑块划痕。我们修复《开国大典》原始影像时就遇到颜色通道条纹干扰，无法用统一的模型进行快速增强。”团队成员张小云教授介绍，团队发明了高阶数、多层次退化仿真方法，利用多种退化方式的线性和非线性叠加，让计算机的修复更有针对性。

这些技术令视频在细节、层次、色彩和噪声四方面均有明显改善。基于研发的AI视频增强平台，团队完成了中央广播电视总台279段珍贵历史影像资料的超高清增强，包括一大纪念馆新馆展陈视频、历届冬奥会开幕式集锦、百首经典影视金曲等的修复。

创新迭代 探索前沿

动态的视频是由一帧一帧画面叠加而来，插入额外的图像帧能提高视频流畅度和视觉质量。团队创新算法，能够针对复杂运动、有遮挡等画面实现精准插帧，不会产生伪影，观看效果更加流畅。

超高清视频数据吞吐量极大，需要软硬件协同优化以提升计算效率并降低应用成本。团队携手华为研发了一系列软硬件耦合优化的视频增强处理算子，通过软硬件结合的跨层优化，构建了全流程自主可控的国产AI视频增强平台，在插帧、超分辨等主要视频增强任务的计算效率上均优于海外同级别产品。

在生成式人工智能的加持下，能够快速自主生成更优质的画面，团队研发的新模型达到了更好的感官效果。张娅表示，针对不断变化的用户观看场景，团队向着更清晰、更流畅的目标不断探索更前沿的技术模型。

目前，项目团队与咪咕视讯合作，在影视点播和赛事直播超高清增强上形成了规模化应用，为咪咕视讯的AI修复超高清专区，提供了超过390小时增强视频。在开展4K超高清增强应用的同时，还承担了国家“百城千屏”项目8K视频资源的增强制作，为视频产业迈入8K时代提供了技术支撑。本报记者 易蓉