首个专攻视听媒体内容生产的人工智能大模型来了

图说：用央视听大模型生成流畅、高清、带有故事情节的视频  采访对象供图

新民晚报讯（记者 郜阳）在由中央广播电视总台、上海市人民政府联合主办的第二届全球媒体创新论坛上，上海人工智能实验室、中央广播电视总台联合发布“央视听媒体大模型”。双方将“以原创技术，促内容原创”，携手推动视听媒体编创范式变革，以科技创新加速赋能视听产业应用。

上海人工智能实验室继两周前联合商汤科技等发布全新升级的“书生通用大模型体系”后，又将大模型的应用探索拓展到视听媒体领域。本次联合中央广播电视总台发布的央视听大模型为首个专注于视听媒体内容生产的AI大模型，集合了中央广播电视总台的海量视听数据与上海AI实验室的原创先进算法、大模型训练基础设施优势。基于“书生通用大模型体系”，央视听大模型将拓展视听媒体的创意空间、提高创作效率并带来交互方式的变革。

“当我们谈论大模型时，不应只关注对话聊天功能，更应看到它在提高生产效率方面的作用。”上海AI实验室主任助理乔宇表示，上海AI实验室将与学术界、产业界紧密合作，共同推动大模型落地应用，使之成为推动生产力变革的技术基础设施和社会发展的重要基石。

据悉，以大模型的多模态理解、交互和生成能力为基础，媒体工作者将来有望在“聊天”中完成工作。目前，央视听大模型具备了强大的视频理解能力和视听媒体问答能力，AI相当于拥有了感知真实世界的“眼睛”和“耳朵”。同时，央视听大模型可根据提供的视频，创作诸如主持词、新闻稿件，甚至诗歌等文字。媒体编辑可在大模型的协助下，一键为视频生成风格各异的解说词，当前生成内容已覆盖美食、文化和科技等多个领域。

央视听大模型可通过逐步呈现的视觉元素，理解并分析视频。用户通过与AI聊天对话的形式，深挖视频蕴含信息，进一步完善输出的内容——当它“看”到央视节目《中国诗词大会》中“看图猜诗词”环节视频，便可理解视频内容并生成出李白的《望庐山瀑布》。

央视听大模型同样了解最新的科技进展——当“看”到我国空间站模型的相关视频，即能生成视频镜头脚本及旁白。

央视听大模型还为用户提供了强大的交互式图像、视频编辑与创作能力，使得新的内容生产方式变成可能。在央视听大模型的界面中，用户仅需使用简单的光标和文字指令，即可快速修改或编辑图像，实现“指哪改哪，画随口出”。

上海人工智能实验室科研团队介绍，央视听大模型具备的视觉理解能力，源于跨模态互动技术的最新突破，将图像/视频视为另一种“语言”，并将视觉与语言对齐，降低人工智能视觉任务的门槛。基于对多模态数据的建模，央视听大模型可感知图像的风格与纹理笔触，通过将用户输入的文本指令与图像对齐，实现按照用户需求生成画面及风格一致的其他内容。

除了视频内容，央视听大模型还具备快速生成“数字人主播”的能力。使用较短的真人采集视频即可生成对应的数字人。AI生成的数字人主播以“真人”形象呈现，不仅能根据既定文案和背景场景快速生成播报视频，还可自动学习真人的语言及动作习惯，做到形象更逼真，表情更自然。