欧洲杯足球赛姗姗来迟百度拿下全部两项任务冠军

在近日举行的国际计算机视觉与模式识别峰会CVPR 2021上，视频理解领域最具影响力的（）旗下多个竞赛公布了排名。 本次大赛吸引了百度、阿里巴巴、字节跳动、腾讯、华为等知名企业，以及清华大学、北京大学、斯坦福大学、麻省理工学院、中科院等国内外高校和机构参与。 其中，在全球首个旨在全面理解足球比赛视频的-v2足球视频理解大赛中，百度研究院以绝对优势获得两项任务的冠军。

百度夺得两项任务冠军

01:49

本次比赛使用的-v2数据集是足球理解领域最大的，包含2014年至2017年三个赛季欧洲五大足球联赛和欧冠联赛的500个视频，视频总时长达到764小时足球比赛文字直播，人工标注时间达到764小时。 30万，成为国际AI团队衡量足球视频理解能力的重要标准。

赢得双任务项目显着提高了基线平均 mAP

今年的-v2竞赛有两个任务：事件定位（ ）和回放追踪（ ）。 其中，事件定位（ ）就是从足球比赛的直播视频中找到一些关键事件，并确定其发生的时刻。 关键事件包括17个类别，涵盖进球、点球、任意球、红牌、黄牌、角球等重要事件，以及犯规、越位、射正、射失等难以判断的事件人类立即辨别。 同时足球比赛文字直播，有些事件甚至无法直接捕获，需要根据上下文进行推断。 这也是对视频动作识别和事件检测能力的挑战。

回放追踪是将足球比赛转播视频中的回放片段与原始事件进行匹配。 在足球比赛视频中，精彩事件发生后往往会出现多次回放，回放与原始事件的差距可能有数百秒，而且拍摄角度往往不同。 重播片段能否与原始片段匹配至关重要。 远距离视频理解的检查。

百度研究院图像转文本转视频团队专注于算法研究和应用创新。 这次它在两项任务中获得冠军，展示了其超强的技术实力。 该系统采用两阶段方法。 首先，特征提取器提取足球视频特征，然后将提取的特征作为第二阶段特定任务模块的输入，进行事件定位或回放溯源。

事件定位和回放追踪的系统流程

在特征提取阶段，团队认为在足球视频上微调的特征提取器更有利于提高两个下游任务的性能：事件定位和回放追踪。 因此，对数据进行了五个预训练的特征提取器模型的微调：TPN、GTA、VTN、irCSN 和 I3D-Slow。 这五个特征提取器模型都是近年来在视频理解领域的分类任务上表现良好的模型，它们在标准数据集-400上的结果也名列前茅。

在五个特征提取器模型之上，团队还充分利用数据，设计了多种对特征提取器模型进行微调的策略，并开发了新的特征提取方法。 获得各个特征提取器对足球视频提取的特征后，对这五个特征进行连接和归一化，使优化后的特征对足球比赛视频具有较强的表达能力，为后续下游任务打下坚实的基础。 坚实的基础。

事件定位和回放溯源阶段采用结构。 该架构的特点是架构更清晰、更标准化、模型容量大、可扩展性强，可以适应计算机视觉、自然语言等多种业务。 该结构体现了这两个任务中视觉语义特征的精确时间处理能力，优于基线算法中网络的学习能力和训练速度。 在训练过程中，事件定位使用混合数据增强，可以更有效地利用训练数据并减少过度拟合。 对于回放和溯源任务，模型结构的替换将训练时间减少到原来的八分之一。

结合前述视觉信息的语义特征和针对新任务定制的结构，百度研究院在竞赛成绩中取得了显着领先。 在事件定位任务中，基线的平均mAP从52.54%提升到74.84%，提升了22.3个百分点，是第二名提升近两倍； 在回放溯源任务中，平均mAP从基线的40.75%增加。 提升至71.90%，提升了31.15个百分点，比第二名63.91%的成绩高出8个百分点。

技术将现实生活中的应用“融入”智能视频生成工具中。

百度研究院之所以能够在这场竞争中脱颖而出，离不开基于大规模视频数据的算法能力和技术的积累。

该技术具有非常高的实用价值，可以在体育赛事视频中大规模应用。 通过对整个比赛的智能识别，可以实时准确地分割进球和射门，无需人工干预。 、犯规等动作序列。

基于此能力，团队开发了一系列应用工具并成功实现。

首先是行业领先的定制足球精彩片段生成工具。 进入选手并选择比赛后，会自动生成选手精彩比赛的视频集锦和慢动作回放。 目前，该系统已在百度百科400多个足球运动员及球队页面落地。

输入玩家姓名+游戏名称，生成玩家视频集锦

其次，通过将文本语义理解与视频图像理解相结合，团队还搭建了足球图文报道的一键视频转换平台。 通过输入文字直播内容或直播间地址，即可智能聚合生成对应的视频内容，提高战报的效率和可读性。

根据直播文本内容智能生成对应视频片段

此外，团队还建立了基于图像场景识别的智能视频生产线。 该生产线可以快速理解上传的长视频，检测是否有进球，准确定位视频中的进球时刻，并完成自动编辑。

上传比赛视频并自动识别并生成进球片段

基于在智能视频技术上的不断创新和积累，百度研究院于2020年初孵化并推出了智能图文转视频工具，是业界首个支持通用、大规模全自动视频制作技术。 可支持图文链接一键导入，自动实现配音、字幕、图像的视频内容制作，减少素材收集、整理、匹配的时间成本。 目前作为百度大脑智能创作平台的核心能力，赋能人民日报等多家媒体的智能视频制作； 智能生成数千条玩家精彩瞬间视频供庙东百科使用； 为百家号、好看视频等提供服务。平台最终用户提供一键视频生成服务。 百度大脑智能创作平台基于自然语言处理、知识图谱、视觉、语音的综合技术能力。 为创作者提供策划、采集、编辑、审核、发布等新闻生产全流程的多重能力足球比赛文字直播，全面提升内容生产效率。 。

随着全视频时代的到来，各行各业对视频应用、体验和性能提出了新的升级要求。 智能视频变革趋势背后的驱动力不可或缺的是AI。 无论是足球比赛视频，还是其他内容丰富、形式多样的视频内容，百度未来都将不断在相关领域进行技术突破和迭代，并持续赋能应用和产品落地，为发展和转型注入充足的资源视频行业的。 力量。

体验图文转视频功能，欢迎来到智创平台体验