Google发布AVA:一个用于理解人类动作的精细标记视频数据集原创:Google谷歌开发者2017-11-03文/Google软件工程师ChunhuiGu和DavidRoss教机器理解视频中的人类动作是计算机视觉的一个基本研究课题,对于个人视频搜索和发现、运动分析和手势接口等应用必不可少.
过去几年来,在图像中分类和查找对象取得了令人兴奋的突破,但识别人类动作仍然是一个巨大的挑战.
原因在于,就其本性而言,人类动作的定义不如视频对象完善,因此,很难构建精细标记的动作视频数据集.
尽管有许多基准数据集(如UCF101、ActivityNet和DeepMind的Kinetics)采用图像分类标记模式,并为数据集中的每个视频或视频剪辑分配一个标签,但对于有多人执行不同动作的复杂场景,还没有相应的数据集.
为促进对人类动作识别的进一步研究,我们发布了AVA,它诞生于"原子视觉动作",是一个全新的数据集,为扩展视频序列中的每个人提供多个动作标签.
AVA由YouTube中公开视频的网址组成,注解了一组80种时空局部化的原子动作(如"走"、"踢(物体)"、"握手"等),产生了5.
76万个视频片段、9.
6万个标记动作执行人以及总共21万个动作标签.
您可以浏览网站,了解数据集和下载注解:https://research.
google.
com/ava并阅读我们的arXiv论文,了解数据集的设计和开发:https://arxiv.
org/abs/1705.
08421与其他动作数据集相比,AVA具有以下重要特征:以人为中心的注解.
每个动作标签与人相关,而不是与视频或剪辑相关.
因此,我们可以将不同标签分配到同一场景中执行不同动作的多个人(这种情况很常见).
原子视觉动作.
我们将动作标签限于很小的时间尺度(3秒),在此范围内,动作的性质是身体活动,具有清晰的视觉特征.
现实视频材料.
我们使用电影作为AVA的来源,从很多不同的流派和原产国取材.
因此,数据中包含广泛的人类行为.
3秒视频片段(来自视频来源)示例,其边界框注解在每个片段的中间帧中.
(为清楚起见,每个示例只显示一个边界框)为创建AVA,我们先从YouTube收集了一组变化多的长形式内容,集中于"电影"和"电视"类别,有许多不同国籍的专业演员.
我们对每个视频分析了15分钟的片段,将其统一分隔为300个不重叠的3秒片段.
采样策略将动作序列保持在连贯的时间背景中.
然后,我们手动标识每个3秒片段中间帧中所有人的边界框.
对于边界框中的每个人,注解人员从预定义的原子动作词汇(有80个类别)中选择不同数量的标签来描述个人在片段中的动作.
这些动作分为三组:姿势/移动、人-物体互动以及人-人互动.
因为我们详尽标记了执行全部动作的所有人,所以,AVA标签的频率遵循长尾分布,下面进行了简要介绍.
AVA原子动作标签的分布.
X轴中显示的标签只是我们词汇的一部分.
AVA的独特设计可让我们推导出其他现有数据集中没有的一些有趣统计信息.
例如,如果很多人至少有两个标签,我们便可测量动作标签的共现模式.
下图所示为AVA中最常见的共现动作对及其共现得分.
我们确认预期模式,比如人们经常在唱歌时弹奏乐器,跟小孩玩时把人举起,以及在亲吻时拥抱,等等.
AVA中最常见的共现动作对.
为评估AVA数据集中人类动作识别系统的有效性,我们实现了现有基线深度学习模型,该模型可以从更小的JHMDB数据集获得更好的性能.
由于缩放、背景杂波、摄影和外观变化等富有挑战性的变化,此模型在正确识别AVA中的动作时表现一般(18.
4%mAP).
这表明AVA是一个有用的试验台,可用于为未来几年开发和评估新的动作识别架构和算法.
我们希望,AVA能帮助改进人类动作识别系统的开发,能基于精细时空粒度的标签在个人动作层级为复杂活动建模.
我们将继续扩展和改进AVA,也渴望听到社区的反馈意见,帮助我们指引未来的方向.
致谢AVA的核心团队包括ChunhuiGu、ChenSun、DavidRoss、CarolinePantofaru、YeqingLi、SudheendraVijayanarasimhan、GeorgeToderici、SusannaRicco、RahulSukthankar、CordeliaSchmid和JitendraMalik.
感谢许多Google同事和注解人员对此项目的全力支持.
青云互联怎么样?青云互联是一家成立于2020年的主机服务商,致力于为用户提供高性价比稳定快速的主机托管服务,目前提供有美国免费主机、香港主机、韩国服务器、香港服务器、美国云服务器,香港安畅cn2弹性云限时首月五折,15元/月起;可选Windows/可自定义配置,让您的网站高速、稳定运行。点击进入:青云互联官方网站地址青云互联优惠码:八折优惠码:ltY8sHMh (续费同价)青云互联香港云服务器活动...
HostKvm是一家成立于2013年的国外主机服务商,主要提供基于KVM架构的VPS主机,可选数据中心包括日本、新加坡、韩国、美国、中国香港等多个地区机房,均为国内直连或优化线路,延迟较低,适合建站或者远程办公等。本月商家针对全场VPS主机提供8折优惠码,优惠后美国洛杉矶VPS月付5.2美元起。下面列出几款不同机房VPS主机产品配置信息。套餐:美国US-Plan0CPU:1cores内存:1GB硬...
香港最便宜的vps要多少钱?最便宜的香港vps能用吗?香港vps无需备案,整体性能好,而且租用价格便宜,使用灵活,因为备受站长喜爱。无论是个人还是企业建站,都比较倾向于选择香港VPS。最便宜的香港vps能用吗?正因为有着诸多租用优势,香港VPS在业内颇受欢迎,租用需求量也在日益攀升。那么,对于新手用户来说,香港最便宜的vps租用有四大要点是务必要注意的,还有易探云香港vps租用最便宜的月付仅18元...
谷歌sb为你推荐
Dimensionfastreport2santeeset支出127ipad连不上wifiipad2 wifi连接不上,刚连上就弹出一个 success页面fusionchartsfusioncharts曲线图怎么默认显示数量ms17-010win10蒙林北冬虫夏草酒·10年原浆1*6 500ml 176,176是一瓶的价格还是一箱的价格google中国地图谷歌退出中国,地图要是关了就太可惜了!手机谷歌地图还能用吗?谷歌sb为什么搜索SB第一个是google?googleadsence谷歌adsense是被封了么?迅雷雷鸟雷鸟手机怎么样
江西服务器租用 域名空间购买 免费二级域名申请 n点虚拟主机管理系统 堪萨斯服务器 awardspace 个人免费空间 150邮箱 美国十次啦服务器 炎黄盛世 服务器维护方案 域名评估 卡巴斯基破解版 吉林铁通 西安服务器托管 监控服务器 数据库空间 国内空间 大化网 卡巴斯基官网下载 更多