Google发布AVA:一个用于理解人类动作的精细标记视频数据集原创:Google谷歌开发者2017-11-03文/Google软件工程师ChunhuiGu和DavidRoss教机器理解视频中的人类动作是计算机视觉的一个基本研究课题,对于个人视频搜索和发现、运动分析和手势接口等应用必不可少.
过去几年来,在图像中分类和查找对象取得了令人兴奋的突破,但识别人类动作仍然是一个巨大的挑战.
原因在于,就其本性而言,人类动作的定义不如视频对象完善,因此,很难构建精细标记的动作视频数据集.
尽管有许多基准数据集(如UCF101、ActivityNet和DeepMind的Kinetics)采用图像分类标记模式,并为数据集中的每个视频或视频剪辑分配一个标签,但对于有多人执行不同动作的复杂场景,还没有相应的数据集.
为促进对人类动作识别的进一步研究,我们发布了AVA,它诞生于"原子视觉动作",是一个全新的数据集,为扩展视频序列中的每个人提供多个动作标签.
AVA由YouTube中公开视频的网址组成,注解了一组80种时空局部化的原子动作(如"走"、"踢(物体)"、"握手"等),产生了5.
76万个视频片段、9.
6万个标记动作执行人以及总共21万个动作标签.
您可以浏览网站,了解数据集和下载注解:https://research.
google.
com/ava并阅读我们的arXiv论文,了解数据集的设计和开发:https://arxiv.
org/abs/1705.
08421与其他动作数据集相比,AVA具有以下重要特征:以人为中心的注解.
每个动作标签与人相关,而不是与视频或剪辑相关.
因此,我们可以将不同标签分配到同一场景中执行不同动作的多个人(这种情况很常见).
原子视觉动作.
我们将动作标签限于很小的时间尺度(3秒),在此范围内,动作的性质是身体活动,具有清晰的视觉特征.
现实视频材料.
我们使用电影作为AVA的来源,从很多不同的流派和原产国取材.
因此,数据中包含广泛的人类行为.
3秒视频片段(来自视频来源)示例,其边界框注解在每个片段的中间帧中.
(为清楚起见,每个示例只显示一个边界框)为创建AVA,我们先从YouTube收集了一组变化多的长形式内容,集中于"电影"和"电视"类别,有许多不同国籍的专业演员.
我们对每个视频分析了15分钟的片段,将其统一分隔为300个不重叠的3秒片段.
采样策略将动作序列保持在连贯的时间背景中.
然后,我们手动标识每个3秒片段中间帧中所有人的边界框.
对于边界框中的每个人,注解人员从预定义的原子动作词汇(有80个类别)中选择不同数量的标签来描述个人在片段中的动作.
这些动作分为三组:姿势/移动、人-物体互动以及人-人互动.
因为我们详尽标记了执行全部动作的所有人,所以,AVA标签的频率遵循长尾分布,下面进行了简要介绍.
AVA原子动作标签的分布.
X轴中显示的标签只是我们词汇的一部分.
AVA的独特设计可让我们推导出其他现有数据集中没有的一些有趣统计信息.
例如,如果很多人至少有两个标签,我们便可测量动作标签的共现模式.
下图所示为AVA中最常见的共现动作对及其共现得分.
我们确认预期模式,比如人们经常在唱歌时弹奏乐器,跟小孩玩时把人举起,以及在亲吻时拥抱,等等.
AVA中最常见的共现动作对.
为评估AVA数据集中人类动作识别系统的有效性,我们实现了现有基线深度学习模型,该模型可以从更小的JHMDB数据集获得更好的性能.
由于缩放、背景杂波、摄影和外观变化等富有挑战性的变化,此模型在正确识别AVA中的动作时表现一般(18.
4%mAP).
这表明AVA是一个有用的试验台,可用于为未来几年开发和评估新的动作识别架构和算法.
我们希望,AVA能帮助改进人类动作识别系统的开发,能基于精细时空粒度的标签在个人动作层级为复杂活动建模.
我们将继续扩展和改进AVA,也渴望听到社区的反馈意见,帮助我们指引未来的方向.
致谢AVA的核心团队包括ChunhuiGu、ChenSun、DavidRoss、CarolinePantofaru、YeqingLi、SudheendraVijayanarasimhan、GeorgeToderici、SusannaRicco、RahulSukthankar、CordeliaSchmid和JitendraMalik.
感谢许多Google同事和注解人员对此项目的全力支持.
Hostodo商家算是一个比较小众且运营比较久的服务商,而且还是率先硬盘更换成NVMe阵列的,目前有提供拉斯维加斯和迈阿密两个机房。看到商家这两年的促销套餐方案变化还是比较大的,每个月一般有这么两次的促销方案推送,可见商家也在想着提高一些客户量。毕竟即便再老的服务商,你不走出来让大家知道,迟早会落寞。目前,Hostodo有提供两款大流量的VPS主机促销,机房可选拉斯维加斯和迈阿密两个数据中心,且都...
Hostodo近日发布了美国独立日优惠促销活动,主要推送了四款特价优惠便宜的VPS云服务器产品,基于KVM虚拟架构,NVMe阵列,1Gbps带宽,默认分配一个IPv4+/64 IPv6,采用solusvm管理,赠送收费版DirectAdmin授权,服务有效期内均有效,大致约为7折优惠,独立日活动时间不定,活动机型售罄为止,有需要的朋友可以尝试一下。Hostodo怎么样?Hostodo服务器好不好?...
DiyVM是一家比较低调的国人主机商,成立于2009年,提供VPS主机和独立服务器租用等产品,其中VPS基于XEN(HVM)架构,数据中心包括香港沙田、美国洛杉矶和日本大阪等,CN2或者直连线路,支持异地备份与自定义镜像,可提供内网IP。本月商家最高提供5折优惠码,优惠后香港沙田CN2线路VPS最低2GB内存套餐每月仅50元起。香港(CN2)VPSCPU:2cores内存:2GB硬盘:50GB/R...
谷歌sb为你推荐
支持ipadgetIntjava支持ipadipad如何上网如何用手机流量在IPAD上上网ipad如何上网ipad如何允许app使用网络windows键是哪个Windows快捷键是什么ipadwifiIPAD连上了WIFI,但是无法上网,急!!127.0.0.1DNS老是被修改为127.0.0.1,这是为什么?谷歌sb为什么百度一搜SB是谷歌,谷歌一搜SB是百度?win7关闭135端口win7系统怎么关闭135端口?网上很多方法都不好用!
淘宝虚拟主机 主机点评 vultr美国与日本 mach mediafire下载工具 godaddy优惠码 iisphpmysql wordpress技巧 lamp配置 搜狗12306抢票助手 创梦 新天域互联 in域名 512mb 谷歌台湾 免费php空间 测速电信 国外代理服务器 博客域名 windowssever2008 更多