视频基于音视频双重特征的视频内容分析技术研究

内容分析  时间:2021-02-25  阅读:()

上海交通大学

硕士学位论文

基于音视频双重特征的视频内容分析技术研究姓名蔡群

申请学位级别硕士

专业通信与信息系统

指导教师陆松年

20061201

上海交通大学硕士论文 基于音视频双重特征的视频内容分析技术研究

基于音视频双重特征的视频内容分析技术研究

摘 要

随着计算机和互联网技术的飞速发展多媒体将越来越成为信息的主要载体进行传播。这在提升人们生活质量的同时也带来了新的风险尤其是对青少年来说使得他们接触到某一类带有色情内容的视频的可能性更大、渠道更多。本文中我们将该类带有色情内容的视频称为不良视频。因此本文主要针对这类视频的特点进行研究提出一个识别并实时过滤该类视频的方案在特定类视频内容的分析技术上做出了一些新的尝试。

基于视频的独特性我们选择充分利用其信息量采用结合音视频双重特征的分析方法在视觉域和听觉域分别展开研究分别针对该类特殊视频分析并提取其区别于正常视频的特征参量 以用于后续的分类最后综合利用两方面的分析结果给出对视频内容的判断。

在视觉域我们主要针对肤色展开研究首先通过颜色空间的变换、光线补偿、域值确定、纹理分析等技术提取出视频帧图像的皮肤掩码图像之后研究敏感图像区别于正常图像的肤色信息分布规律 以提取有效的特征向量。在听觉域我们主要针对敏感女声展开研究通过分析并利用音频短时特征实现对音频的分段以提取出所有的可疑音频段之后研究敏感女音段区别于正常音频段的特征提取出有效的段特征向量。对提取出的特征向量选择支持向量机(SVM)对其进行学习和分类分别实现对图像帧和音频段的识别。

最后采用基于COM架构的DirectShow技术对视频流进行实时的分析。首先进行音视频流的分离并分别进行分析在得到上文所提

– I –

上海交通大学硕士论文 基于音视频双重特征的视频内容分析技术研究

出的音视觉域分类结果之后采用综合判断的方法对视频内容进行分类和分段取得了较好的效果。

关键词肤色检测、音频分割、支持向量机、视频内容识别

– II –

上海交通大学硕士论文 基于音视频双重特征的视频内容分析技术研究

RESEARCH ON AUDIO-VISUAL FEATURE-BASED

VIDEO CONTENT DETECTION

ABSTRACT

With the development of modern computer and internet technology,video will be the main carrier for information and will spread more broadlyand rapidly,which will enhance people’s life quality,but at the same time, itbrings new risks, especially for the younger.The possibility for them tocome into contact with pornographic videos is much larger. So, this paperresearches the features of this kind of videos, and gives out a method torecognize and filter it.

Based on the features of video,which haves both visual and audiomessages,we proposed an audio-visual feature-based framework.Audio andvisual features are analyzed and extracted independently, and their resultsare combined to give out a final detection result.

In visual field, our research focuses on skin detection. Firstly,weimport skin color model, lighting compensation and texture model toabstract skin message from a frame image,and then build a skin color mask.Secondly, to different images with pornography from normal images,weanalyze their skin distribution, and abstract six effective parameters for thefollowing classification. In audio field, our research focuses onwell-regulated sexy female-voice.Firstly,we segment the audio stream withaudio short-time features, to get all dubious audio sects, and then, analyzeand abstract some segment features which can different sexy female-voice

– III –

上海交通大学硕士论文 基于音视频双重特征的视频内容分析技术研究

with other normal sounds.

After we abstracted effective feature vectors for both visual and audiofields,we choose support vector machine (SVM) to learn and then classifythese vectors. SVM has good performance in the classification based onfinite samples, and its work includes two steps,one is learning step and theother is test step. In learning step,we put the feature vectors obtained formimages or audio segments pre-classified manually into SVM to train it. Intest step,feature vector of images or audio segments is put into learned SVM,and whether the image or audio segment is pornographic or not can beclassified by the output of corresponding SVM.The results show that thefeature vectors abstracted in chapter 2 and 3 are effective and we can getreliable results in both visual and audio fields.

At the end of this thesis,we use ‘DirectShow’component system basedon COM framework, to realize real-time analysis of audio and visualstreams, and then combine their results to realize the detection for videos tre ams.

KEY WORDS:audio segmentation,a support vector machine,pornographyrecognition

– IV –

上海交通大学硕士论文 基于音视频双重特征的视频内容分析技术研究

图片目录

图2-1 肤色检测效果对比((a)原图、 (b)YUV-YIQ方法、 (c)HIS方法) · · · · · · · · · · · · 16图2-2 纹理分析效果对比((a)(d)原图、 (b)(e)肤色检测结果、 (c)(f)纹理分析结

果)· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·20

图3-1 不同声音类别的短时平均能量((a)音乐、 (b)普通男声)· · · · · · · · · · · · · · · · · · · · · · · · · ·26

图3-2 不同声音类别的短时平均过零率((a)音乐、 (b)普通男声)· · · · · · · · · · · · · · · · · · · · · ·27

图3-3 双门限端点检测法分割可疑音频段· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·33

图3-4 带背景噪声的正常语音段分割结果(语音内容“我是和平主义者” ) · · ·34图3-5 不良音频段分割结果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·35

图4-1 线性可分情况下SVM分类示例· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·39

图4-2 SVM分类示意图· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·41

图4-3 SVM学习和测试过程· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·44

图5-1 COM组件、 COM对象和COM接口的关系· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·48

图5-2 典型的Filter Graph示例· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·52

图5-3 系统架构及检测流程· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·53

图5-4 某不良视频的音视频流分段结果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·54

– VII –

上海交通大学硕士论文 基于音视频双重特征的视频内容分析技术研究

表格目录

表4-1 图像分类结果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·45

表4-2 音频段分类结果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·46

– VIII –

上海交通大学硕士论文 基于音视频双重特征的视频内容分析技术研究

上海交通大学

学位论文原创性声明

本人郑重声明所呈交的学位论文是本人在导师的指导下独立进行研究工作所取得的成果。除文中已经注明引用的内容外本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。

学位论文作者签名蔡群

日期 2006年12月 10日

上海交通大学硕士论文 基于音视频双重特征的视频内容分析技术研究

上海交通大学

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定同意学校保留并向国家有关部门或机构送交论文的复印件和电子版允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

保密□在 年解密后适用本授权书。

本学位论文属于

不保密□。 √

请在以上方框内打“√”

学位论文作者签名蔡群 指导教师签名陆松年

日期 2007年1月 15日 日期 2007年1月 18日

ftlcloud9元/月,美国云服务器,1G内存/1核/20g硬盘/10M带宽不限/10G防御

ftlcloud(超云)目前正在搞暑假促销,美国圣何塞数据中心的云服务器低至9元/月,系统盘与数据盘分离,支持Windows和Linux,免费防御CC攻击,自带10Gbps的DDoS防御。FTL-超云服务器的主要特色:稳定、安全、弹性、高性能的云端计算服务,快速部署,并且可根据业务需要扩展计算能力,按需付费,节约成本,提高资源的有效利用率。活动地址:https://www.ftlcloud.com...

NameCheap域名转入优惠再次来袭 搜罗今年到期域名续费

在上个月的时候也有记录到 NameCheap 域名注册商有发布域名转入促销活动的,那时候我也有帮助自己和公司的客户通过域名转入到NC服务商这样可以实现省钱续费的目的。上个月续费转入的时候是选择9月和10月份到期的域名,这不还有几个域名年底到期的,正好看到NameCheap商家再次发布转入优惠,所以打算把剩下的还有几个看看一并转入进来。活动截止到9月20日,如果我们需要转入域名的话可以准备起来。 N...

无忧云(25元/月),国内BGP高防云服务器 2核2G5M

无忧云官网无忧云怎么样 无忧云服务器好不好 无忧云值不值得购买 无忧云,无忧云是一家成立于2017年的老牌商家旗下的服务器销售品牌,现由深圳市云上无忧网络科技有限公司运营,是正规持证IDC/ISP/IRCS商家,主要销售国内、中国香港、国外服务器产品,线路有腾讯云国外线路、自营香港CN2线路等,都是中国大陆直连线路,非常适合免北岸建站业务需求和各种负载较高的项目,同时国内服务器也有多个BGP以及高...

内容分析为你推荐
苏州商标注册在江苏怎么注册商标啊??中国联通话费查询中国联通话费查询拨打什么号湖南商标注册湖南商标注册代办公司雅虎社区福建晋江社区是什么?邮箱打不开怎么办我的邮箱打不开怎么办万网核心代理我想买个域名和空间,我一朋友给我介绍万网代理环宇网络空间商,他们的空间稳定吗,价格怎么样,咨询师的服彩信中心短信中心号码是多少怎么点亮qq空间图标如何点亮QQ空间图标xp系统停止服务Windowsxp系统为什么停止服务铁路客服中心铁路客户服务中心怎么订票
美国vps主机 中文域名交易中心 duniu jsp主机 名片模板psd 网站实时监控 免费网络电视 40g硬盘 日本bb瘦 国外代理服务器地址 泉州移动 免费全能主机 服务器干什么用的 smtp虚拟服务器 独立主机 php服务器 免费蓝钻 腾讯数据库 web服务器有哪些 日本小学生 更多