基于文本、图片、视频、音频不同素材多模态的检索能力■■◆★■,提升媒资用户的检索效率◆★。通过图像识别、人脸识别、OCR 识别以及融合语音识别、视频特征提取等基础能力★■★■◆,结合语义分析算法、词向量算法等,提高媒资智能检索能力,支持快速定位用户所需的素材信息,提升用户内容查询的体验◆★◆◆★。
数字人作为元宇宙中另一重要赛道,商业模式也得到飞速发展■★◆★■。各主流媒体也纷纷打造数字主播 IP,拓展市场机遇。通过 AIGC 深度模型训练,驱动面部表情、肢体动作★◆,形成AI 驱动的智能数字人。结合生成式对话模型,可赋予数字人与用户自由对话的能力,以拓展更多的商业场景和模式■★■★◆◆。SMG 的虚拟新闻主播申 雅(如图2所示)正聚合 AIGC 技术, 进化交互能力,提升IP价值。
随着越来越多的生成式大模型逐步应用于媒体行业,在带来创新生产模式的同时◆■■■,也引发新的问题。即如何紧贴文化媒体内容生产播出全流程场景输出能力,以及如何确保AIGC 所生产内容质量的准确性和行业相关性。
[4] 喻国明◆◆★★◆, 苏健威. 生成式人工智能浪潮下的传播革命与媒介生 态——从ChatGPT到全面智能化时代的未来[J]■★◆◆◆■. 新疆师范大学学报(哲 学社会科学版), 2023, 44(5): 81-90.
如今★■,AIGC已经全方位渗透媒体生产各环节。通过与媒体场景的深度耦合,降低内容生产的门槛,重塑文化媒体 生产模式,带动产业链生态的升级■★。
[3] 郑弘★◆★, 关美璐, 谭言. 生成式人工智能在央媒的应用初探——以央视 新闻在AI应用领域的探索实践为例[J]◆★■■■. 声屏世界★■◆■★■, 2023(6): 98-100◆■◆★■.
大模型升级搜索能力,实现对音视频更宽泛的搜索模式■★■■★。通过 AIGC的跨模态能力对于媒资素材图像画面的识别★◆■■★,构建向量库,提升标签的密度和精准度;构建多重检索排序算法,整合文本、向量检索结果和用户行为数据, 提升用户媒资检索的效率和质量。该能力构建后,用户可以通过自然语言的方式检索素材场景片段◆◆◆■■■,通过改变关键词搜索方式■■■■■■,提升用户的体验。
内容版权是媒体产业的核心价值◆★◆■,AIGC赋能媒体生产的过程中,可能面临侵犯知识产权的风险。AIGC通过学习、模仿、转换已有内容作品,进而创造新的产物■◆◆★。这些强化学习和内容模仿的过程可能涉嫌侵犯内容所有者的知识产权。因此★◆★◆★★,媒体从业者要以技术手段、管控流程等,避免侵权问题的发生。
SMG 在推广并拓展媒体生产领域原有应用的同时,着重 打造媒体领域的 AIGC 能力,推动主流媒体由“AI 赋能融合 生产”进阶为■◆■■“AI 赋能内容创作”、从“单点应用◆★■★★◆”到“全 产业链打通”的整体能力提升■★★。
林云川,上海广播电视台■◆■★、上海文化广播影视集团有限公司技术中心主任,上海东方 传媒技术有限公司总经理,上海市广播科学研究所所长,教授级高工◆■◆■★,中国电影电视 技术学会第九届理事会常务理事,上海市电影电视技术学会副理事长,上海市广播电 视协会理事,上海大学电影学院特聘教授。2018年入选“SMG首届领军人才”★◆■、2019年被评为中宣部文化名家暨“四个一批”、国家★■◆◆◆“万人计划◆◆★■”哲学社会科学领军人才■★◆■◆◆,2021 年荣获“上海城市化转型领军先锋”,2022年荣获上海市文化企业十大年度人物。
AIGC 在媒体生产中的应用面临不少伦理★★、道德以及合规问题◆◆,包括模型信息欺诈◆■、数据隐私和版权的保护等。媒体从业者不仅需要确保在使用过程中所涉及各类素材数据的合规性◆★★★◆,而且需要审核、甄别模型生成内容的准确性和事实性, 确保符合伦理道德标准,适配社会主流价值观ag真人。
依托AIGC■★,媒体生产逐步形成多模态■◆■、多场景、多技术相结合的生态合作关系◆■★■◆◆,不仅支持各类内容创作、媒资内容结构化管理◆■◆、内容的精准营销◆◆★◆★◆,还能结合虚拟制作技术◆■■◆■◆、脑机硬件,实现元宇宙世界中拟真化■◆◆■★■、深度沉浸式的内容与场景体验。以满足生产效率升级为基础,颠覆媒体生产力输出的方式,引领行业进化。
数据隐私安全是AIGC赋能媒体产业最重要的风险问题。AIGC时代,数据被视为算法的基石。目前AIGC所使用的数据集,可能存在未经正当授权而获取的侵权隐患。由此引发用户的隐私侵害纠纷★★,将会对媒体行业发展带来显著影响。因此,必须遵守相关的法律法规获取和处理用户数据。
媒体从业者需要根据 AIGC 提供的创意启发,策划、编辑、 提炼有价值的观点和创新理念,形成风格独特的媒体内容。
智能媒体数字底座(如图 1 所示)是由应用层、能力层 和基础设施层所构成的人工智能赋能媒体三层架构,能够更好地赋能文化媒体行业,实现降本增效。
为应对AIGC所带来的风险和挑战,国家网信办于2023年7月发布《生成式人工智能服务管理办法》(以下简称◆■■★“《管理办法》■★◆★”),为保障AIGC产业应用的合规性和安全性,提供法律依据。据悉国家广电总局也正在《管理办法》的框架下 拟定相关规范条例,便于 AIGC 在媒体行业的规范应用和发展■◆◆★。
AI 技术为内容传播带来变革,结合云计算■◆★、大数据等技术,改变人工及粗放式传播、投放模式■★,在保障高质量内容安全播出的同时■■★◆◆,提升内容触达的准确性。
自动写稿★◆◆◆,撰写新闻稿正文★■★、标题、摘要和关键词◆■。新闻编辑仅需一键上传外采音频、视频以及新闻文本素材,无需其他操作,即可实现大模型在短短数秒内自动生成新闻初稿■★◆。自动写稿系统通过语音识别★◆★■、语义理解提取信息,基于新闻专业内容训练的专业垂类模型对信息进行语言的重新组织和规整。同时■★◆■,通过大模型的内容抽象总结能力,帮助新闻编辑总结摘要■■,提取关键词,生成各种风格的标题,满足各渠道内容发布的要求,形成全套新闻稿生产服务★◆◆。新闻编辑可按需修改或重新生成新闻稿,所有的修改内容都将被系统保存,并用于该垂域模型的调优,以此形成包括内容生成◆■、素材收集和模型调优的闭环★■。
需要不断学习 AIGC 的基本原理◆■◆◆、发展趋势■★★■★★、使用方法和特点,了解采集■◆◆★、清洗和标注内容素材数据的方法,以便能够通过合适的智能工具,选取匹配的素材数据辅助媒体内容创作。
从产业发展来说,依托媒体行业 AIGC 能力平台,联合高校 AI 实验室以及行业中的上下游机构形成紧密的合作关 系,整合媒体各领域内容数据★◆◆■■★,探索◆◆★“产学研用★◆”共投、共建★◆★■◆◆、 共享等多元机制,促进产业人才流动、推动参与相关行业标 准的建设,推动媒体全产业链打通和升级。
越来越多的媒体从业者使用AIGC辅助完成日常工作,可完成问答对话、热点资讯获取、稿件内容自动生成■◆■★■、日程管理等工作。AIGC已成为传媒领域辅助媒体生产全流程中 的重要工具,将基础 AI 能力以内容信息分析为主的方式,升级为更具创新性的深度内容创作模式◆◆◆。媒体从业者将摆脱操作性、重复性的生产工作★◆★,激发内容创作的灵感,从而创作出更加独特和引人注目的内容。
借助 AIGC 强大的图片生成能力★★,满足演播室大量日常新闻专题背景图的快速制作需求;基于大模型的多模态生成能力,去除图片中指定的人物或水印★■,并且实现将静态图片生成动画◆◆★■,从而减少后期制作的重复性劳动,提升效率和质量。
根据不同的播出分发场景,结合敏感信息识别、图像识别、信号传输监测等技术提供智能审核及播出控制服务。以此实现对直播和录播节目内容★■■、传输视音频信号进行实时监测、 预警以及内容的技审分析◆■★★◆,及时发现并处理异常情况,确保节目的安全性◆★■◆■、准确性和纯洁性。
训练数据集的质量缺陷将直接导致AIGC生产的内容背离主流道德价值观,无法匹配主流媒体引领社会价值的作用。AIGC的原始训练数据集来源于人类社会海量的知识沉淀■★■■,可能存在狭义、非公证、片面化等道德价值缺陷,例如传播虚假信息、歧视性言论★◆★、仇恨言论等。因此◆★,媒体生产中需要建立有效的审核机制,监督和复核内容的伦理道德价值,确保其匹配社会主流道德的价值标准■★。
针对以上问题,SMG 正构建媒体行业 AIGC 能力平台,在降低 AIGC 内容生产的门槛、提升生产效率、 推动创新内容持续实时供给的同时,也解决了通用大模型无 法生成紧贴媒体生产场景的痛点。即媒体内容 + 通用大模型 + 垂直小模型自训 + 标准化输出 + 算力 = 能力平台 + 行业专业 垂直大模型。也就是利用自有媒体领域资源积累和应用场景优势,结合大模型◆■◆★★,构建 AI 媒体垂域模型平台,训练专业 AIGC 能力◆■■◆,支持原有内容生产全链路嵌入、调优,也支持产品化的能力输出■■■◆。
经过数年建设,SMG 已具备了二次开发 AI 通用能力和自主研发 AI 算法的能力,已将智能能力深度嵌入生产流程, 提高泛化◆◆、无感化体验■◆★■◆◆,同时建设智能能力的资源优化和集约化★■◆◆◆■,提升资源的调度、管理★◆◆◆★★、迭代等能力。
大模型辅助新闻快编。根据编辑提供的剪辑摘要,快速识别、剪辑原视频素材中的镜头片段◆★★★■★。系统利用大模型跨模态能力以及 NLP 语义理解技术■■★,帮助编辑识别所需的镜头★■◆, 并生成对应的字幕★◆★★,实现对于海量视频节目内容的快速剪辑。从而应对网端新媒体内容生产的特性■★,节省内容的制作时间和成本。此外,正在研究文本生成视频模型Sora与媒体内容生产 之间的落地应用。
基于发展策略◆★◆,以通过 AI 技术赋能媒体★◆“采、编◆★、播、存、 发、数据★★”各个环节作为核心目标★◆。依托媒体内容数字化生 产平台,逐步将 AI 技术结合媒体业务场景应用于内容制作中台、播控分发中心、智慧媒资中心、数据中心等,形成面向媒体行业的智能媒体数字底座。
在媒体内容生产流程中,通过结合语音识别◆■★■★、语音合成、 人脸识别、图像识别、智能翻译★■◆■◆、智能剪辑等AI 能力★◆◆■,构建媒体内容生产全流程解决方案◆■★■★,改变传统的内容生产模式, 大幅提升内容制作全流程生产的效率,提升用户体验★■◆。
通过AI 技术与虚拟制作技术相结合★★■◆,形成以虚拟数字人为IP的内容产品创新。近年来,媒体行业内越来越多的数字人被大众所熟知◆◆★■■。目前◆★★◆■,从中央到地方媒体,引入虚拟主播 也成为媒体内容创新的主要模式。越来越多的虚拟主播打破传统的节目模式,结合互联网 IP 运营方式破圈、引流,将传统内容赋予新的生命力和价值。
“SMG 云”不断扩充 GPU 算力、边缘计算等能力★◆★◆■■、高性能计算资源池以及数据库服务资源池◆★★◆■★,以便支撑AIGC 技术 在媒体内容创制场景的拓展。
[1] 任杰. 人工智能技术在视频应用中的发展——以中央广播电视总台 应用为例[J]◆★◆. 演艺科技, 2020(S1): 67-72.
基于新媒体内容特性,通过智能内容推荐、挖掘数据等大数据结合 AI 技术的自动化数据服务建设,改变内容与用户的连接方式◆■★◆◆,实现数据赋能媒体业务产生价值■◆■■★★。智能内容推荐■★■★◆◆,根据采集的数据和用户的画像,呈现千人千面的内容◆■,重新定义媒体内容触达模式◆◆■,从而提升内容分发的效果。
AIGC的内容拟真性,能够模拟人类的行为★◆■★◆■、创意和思考方式◆★★★◆◆。比如 ★■:生成式对话能力★◆★■■◆,使得人类可以通过自然语言实现人机对话,颠覆传统人机交互的方式◆★◆★★■。基于此技术,不少媒体打造各具特色的数字人产品和内容★■■◆,覆盖直播■■◆★★◆、文旅、企业助理等各种场景,形成创新产业链■◆◆★★★,创造新的商业机遇。未来◆★,越来越多的智慧数字人将走入节目内容中◆■■■◆■,以 AIGC 大模型为大脑,能够模仿人类的思考方式,通过自然语言形成人与节目内容的互动,衍生更多应用场景。
SMG 在多年前就开始关注和研究 AI 在媒体领域的应用■■, 获批设立了“智慧媒体制播应用国家广播电视总局重点实验室”★■■◆★,并入选“上海市第二批人工智能试点应用场景”。作为头部主流媒体企业★■◆,已初步完成将 AI 技术结合媒体业务场景应用,形成面向行业的智能媒体数字底座解决方案★■。近年来, 着重打造媒体领域的生成式大模型(以下简称★■★★■“AIGC★★■”)能力, 推动主流媒体由“AI 赋能融合生产”进阶为“AI 赋能内容创作★★◆◆”、从“单点应用■■◆◆★◆”到“全产业链打通”的整体能力提升。
所有的行业都值得被人工智能技术重构。展望未来,随着人工智能技术的不断发展与进步,尤其是生成式视频算法的到来◆◆,大模型必将颠覆和重构媒体领域,这既是我们媒体从业者们面临的巨大挑战,同时也蕴含着巨大的机遇★◆。如何自我革命,将大模型的技术应用到媒体领域■◆◆◆,从而让内容创作者们更快、更好地实现自己的创意,是我们每一个媒体技术人在人工智能时代要回答的问题。
随着元宇宙与媒体行业的结合◆★◆■,3D内容制作方式的发展已成为趋势。基于 NeRF技术和文生3D模型,可大幅降低创作者 3D 建模能力。通过文本描述和少量图片素材, 即可完成复杂的3D建模,明显提升3D建模效率◆◆■■◆,可应用于虚拟赛事、虚拟综艺■★、动画新闻等制作、播出场景。
基于多模态AI算法对音视频内容进行结构化分析,通过对视频、语音、图像、文本的识别◆★■、理解★■◆■★■,提取内容结构化标签, 实现智能编目标签,以应对海量媒体数字资产的结构化管理,便于节省人力并充分挖掘数字资产潜在价值。
SMG 自2017年起开始研究 AI 在媒体领域的应用,成立 AI 实验室★★■,推进 AI 在广播电视融媒体转型中的落地应用,制定整体发展策略 :整合 AI 各大厂的通用优势能力并加以集成,结合媒体融合各业态特性,自主研发各类 AI 算法和应用工具,适配于媒体传播全链路★◆◆■★。
随着计算机科学技术的迅速发展,当前市场上的各类通用性★◆、基础性的AI能力发展已较为成熟。媒体行业通过引入AI 技术,提高内容制作、播出、分发和结构化的效率和质量, 推动融合媒体转型以及产业升级。
媒体行业以内容为核心,是引领社会时代价值观的主赛 道★■◆■。AIGC 融入媒体产业后◆◆■◆■,内容类型■◆、商业模式、产业结构都将发生变革,在推动产业快速革新的同时,也带来新的 问题和挑战。
综上所述,未来 AIGC 对于媒体从业者带来新的挑战和要求,驱动媒体从业者的作业模式从专业制作转型为技术制作。AIGC 永远不会取代人,只是不断驱动从业者自身能力 和专业素养得以提升。