视频基于树莓派的无线视频监控系统 关键技术研究

专业硕士学位论文基于树莓派的无线视频监控系统

关键技术研究

作 者 姓 名李源

导 师 姓 名 刘玉怀教授

专 业 名 称集成电路工程

培 养 院 系信息工程学院

完 成 时 间 2016年5月

A thesis submitted to

Zhengzhou Universityfor the degree of Master

Research on Key Technologies for Wireless Video MonitoringSystem Based on Raspberry Pi

By Yuan Li

Supervisor Prof.Yuhuai Liu

Integrated Circuit Engineering

Information Engineering College of Zhengzhou University

May 2016

原创性声明

本人郑重声明所呈交的学位论文是本人在导师的指导下独立进行研究所取得的成果。除文中已经注明引用的内容外本论文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡献的个人和集体均已在文中以明确方式标明。本声明的法律责任由本人承担。

学位论文作者 日期 年 月 日

学位论文使用授权声明

本人在导师指导下完成的论文及相关的职务作品知识产权归属郑州大学。根据郑州大学有关保留、使用学位论文的规定 同意学校保留或向国家有关部门或机构送交论文的复印件和电子版允许论文被查阅和借阅本人授权郑州大学可以将本学位论文的全部或部分编入有关数据库进行检索可以采用影印、缩印或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学位论文或与该学位论文直接相关的学术论文或成果时第一署名单位仍然为郑州大学。保密论文在解密后应遵守此规定。

学位论文作者 日期 年 月 日

摘要

摘要

伴随着计算机网络通信技术、视频编解码技术以及嵌入式技术的迅速发展基于嵌入式的网络视频监控系统也随之得到了快速发展市场上出现了很多关于嵌入式网络视频监控相关产品而且对其需求也越来越大要求越来越高。

本文主要研究如何使用嵌入式开发板结合外接设备搭建无线网络视频监控系统主要研究内容为视频图像的采集、视频图像的处理、视频信息的打包与传输和视频图像的显示为实现开发体积小、价格低、性能稳定的无线网络视频监控系统开辟一条新的途径。

本课题是基于Raspberry pi开发平台的嵌入式无线网络视频监控系统的设计与实现主要研究内容如下首先使用Raspberry pi开发板连接USB摄像头和USB无线网卡组成的视频监控系统的硬件平台然后在Raspberry pi平台上安装Raspbian系统并进行交叉编译环境的安装和设置以及测试环境的配置采用了Video for Linux two技术进行视频图像的采集通过对采集视频图像的格式进行转换统一转换为YUV420格式使用H.264编码技术对采集到的视频数据进行编码采取了基于IP/UDP/RTP协议的视频传输技术通过WIFI无线网络搭建了Raspberry pi开发平台与PC机之间的Socket通信确保视频采集平台和PC端在同一个局域网络中实现了两者之间视频的实时传输在PC端通过VLC流媒体播放器来实时接收和播放开发平台上所获取到的视频图像信息实现了无线网络视频监控系统模型。

关键字: Raspberry pi Video for Linux two H.264 RTP协议WiFi

I

Abstract

Abstract

With computer network communication technology,video codec technology andthe rapid development of embedded technology, embedded- based network videomonitoring system has been obtained rapid development,appeared on the market a lotabout embedded network video monitoring and related products,but also its demandis more and more widely expanding, the application requirement is becoming higherand higher.

This thesis mainly studies how to use the embedded development boardcombined with external devices for building a wireless network video monitoringsystem. The main research contents include video image capturing, video imageprocessing,packaging and transmission of video information and video image display.The work is useful for opening up a new way for the realization of the developmentof small volume, low price,stable performance wireless network video monitoringsystem.

The content of this research is to design and implement the embedded wirelessvideo monitoring systembased on the Raspberry pi development platform.The mainworks are as following.First use Raspberry pi development board to connect USBcamera and USB wireless network card of video monitoring system hardwareplatform;Then install Raspbian system on the platform of Raspberry pi, and crosscompile the environment configuration of installation and setup and test environment;Select the Video for Linux two technology for Video image acquisition;Through theacquisition of video image format conversion, the formats are unified into YUV420,which can be used to encode the video data with H.264 coding technique . Byadopting video transmission technology with IP/UDP/RTP protocol, the videoacquisition platform and PC in the same local area network can be ensured. socketcommunication between the Raspberry pi development platform and PC isconstructed by the WiFi network to implement the real-time video transmission; InPC terminal,via VLC streaming media player is used to receive and broadcast thereal-time video image information on the development platform,achieve a model for

II

Abstract

wireless network monitoring system.

Keyword: Raspberry pi;Video for Linux two;H.264;RTP protocol;WiFi

III

目录

目录

摘要. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .I

Abstract. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .II

目录. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .IV

1 绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1. 1 课题研究背景与意义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2 视频监控系统发展的现状与前景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

1.3 论文研究主要内容. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

1.4 论文主要结构安排. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2 无线视频监控系统设计方案和关键技术. . . . . . . . . . . . . . . . . . . .7

2. 1 系统总体设计方案. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.2 系统设计方案的可行性论证. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.3 无线视频监控系统涉及的关键技术分析. . . . . . . . . . . . . . . . . . . . . . . . .8

2.3. 1 嵌入式技术介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

2.3.2 视频采集V4L2技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

2.3.3 H.2****编码技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

2.3.4 无线传输技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3 硬件平台的搭建及开发环境设计. . . . . . . . . . . . . . . . . . . . . . . . .15

3. 1 视频监控系统的硬件构架. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

3. 1. 1 Raspberry pi开发板介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

3. 1.2 摄像头和无线网卡的选择. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

3.2 开发环境的搭建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

3.2. 1 Linux系统的选择. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

3.2.2 操作系统的安装. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

3.2.3 交叉编译环境的搭建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

3.3 应用程序文件进行移植. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21

4 视频采集与处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

4. 1 视频采集与处理的整体设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

IV

目录

4.2 基于V4L2技术的视频采集. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

4.2. 1 V4L2的技术介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

4.2.2 视频采集程序的实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

4.3 视频格式进行转换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

4.4 H.264技术对视频数据进行处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

4.4. 1 H.264编码分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

4.4.2 H.264对数据进行编码. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

5 视频传输系统的设计与实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . .37

5. 1 网络传输系统的总体设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37

5.2 视频传输相关技术分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38

5.2. 1 网络传输协议分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38

5.2.2 Socket通信机制分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39

5.2.3 H.264的NAL层技术及RTP打包. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40

5.3 无线网络环境的搭建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

5.4 基于RTP的无线视频传输的实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47

6 系统整体的实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .50

6. 1 硬件平台设备和网络检查. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .50

6.2 视频监控系统的实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51

7 总结与展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55

7. 1 工作总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55

7.2 展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55

参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .57

个人简历、在校期间发表的学术论文与研究成果. . . . . . . . . . . . . .60

致谢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61

V

1绪论

1 绪论

1 . 1 课题研究背景与意义

近年来随着无线网络技术、计算机信息处理能力和视频监控相关技术的迅速提高 以及各种视频图像处理技术的出现和广泛应用基于嵌入式的网络视频监控系统所具有的优势愈发明显[1] 其特有的性能稳定、高度集成以及方便快捷等优点为视频监控系统及设备的整体性能提升创造了必要的条件为视频监控系统的快速发展提供可能使其在更多的领域得到了运用为其发展提供了新的思路和方向开拓个更多的应用市场[2]。视频监控系统以其高效、直接、快速、方便、稳定等良好的性能在社会各个领域得到了良好的快速发展如医疗体系、交通体系、安保体系、教育体系、航空体系、消防体系等众多的体系[3] 为我们的生活提供了良好的保障做出了巨大的贡献。

如何运用有限的硬件资源和丰富的网络资源来实现基于嵌入式的无线视频监控并实现方便、快捷、高效和高质量的采集视频数据能力[4] 怎么进行有效的采集数据处理数据和传输数据从而来实现实时、高效的视频监控是目前无线视频监控领域所研究的重点之一。

我们目前所接触到的基于嵌入式的无线视频监控系统主要是由嵌入式开发技术、视频监控技术和无线传输等关键技术构成它比一般的监控系统具有性能稳定、成本低下、功能强、可扩展性高和可运用范围广等显著优点。基于嵌入式的无线视频监控系统的发展与其所运用的关键技术有着密不可分的关系[5] 伴随着嵌入式技术、视频监控技术和无线传输技术的发展其必然会得到更加迅猛快速的发展其中无线传输技术是当今发展的最快的技术随着各大移动通信运营商对无线技术的投入无线传输技术逐渐深入到我们生活的各个领域这就为无线视频监控的推广和使用创造了条件。

在使用USB摄像头进行视频图像的采集过程中[6] 最重要的是应用基于Linux的Vedio for Linux two标准[7-8] 由于V4L2较之前版本的V4L在功能上有了很大的提升很多视频采集系统都采用了V4L2这个新的视频采集接口标准因此我们将其运用在嵌入式的视频监控的一般性开发过程中就显得特别具有现实意义和实用价值进而设计开发了一个基于嵌入式的无线网络视频监控系统

1