网络监控系统设计(支持资料参考_相关定制)
摘要
现代社会正在以不可思议的速度向前发展,随着社会财富的不断增加和社会复杂度不
断提升,安防产品正在市场上不断成长和扩充。而计算机技术和网络技术的发展使得传统
的模拟视频监控跨入了全数字化时代,各种数字化的视频监控应用手段不断涌现。
为了适应现代社会的安防需求,本文设计了一种基于可编程器件和IF’网络的轻量化网
络数字视频监控系统。本系统采用近年来刚刚兴起的SOPC ( System ort a Programmable
Chip,可编程片上系统)技术,利用成熟的FPGA ( Field Programmable Gate Array,现场
可编程门阵列)设计理念,在局域网络中实现了一种集视频采集、图像处理、多路视频发
送与接收、分屏显示等功能与一体的纯数字化网络监控系统。该系统摆脱了传统的模拟摄
像头+视频矩阵+PC控制机的监控方案,仅仅使用CMOS图像传感器十FPGA十嵌入式操作
系统来实现高度集成化的监控系统。与传统视频监控系统相比,本系统不仅在体积和功耗
方面有着不可比拟的优势,并且在成本上也比传统系统降低很多,顺应了市场的需求。
SOPC技术是本系统的核心。SOPC技术以一FPGA器件的应用为基础,结合Alters公司
的高性能Nios II嵌入式处理器,辅以丰富的外设接口IP ( Intellectual Property)和用户自
定义IP,可以根据工程需求灵活地进行系统级的设计和修改。具体特点如下:
在图像采集方面,本方案全部使用Verilog HDL( Verilog Hardware Description Language,
Verilog硬件描述语言)语言编写,将信号直接从CMOS图像传感器引入FPGA,并编写了
总线接口使之能够将数据传递给Nios II处理器做发送处理。这种设计摒弃了使用现成图像
采集芯片造成的成本上升,并且采集模块还可以根据CMOS图像传感器的不同做出灵活的
修改和升级。
在图像处理方面,本设计引入了Sobel图像边缘检测提取算法,使用纯硬件描述语言
设计的方式来实现图像处理的硬件化,相比使用 Nios II嵌入式处理器来承担图像处理任务
来说,硬件的处理速度和稳定性要远远超过软件算法。
在图像传输控制方面,本系统采用了嵌入式操作系统和UDP网络传输协议来完成视频
采集端和接收端的配合,操作系统的引入使得FPGA与网络之间的数据传递更为顺畅,多
路控制也更为简洁高效。在今后系统升级改善时,也可在操作系统的成‘熟平台上加入更为
丰富的监控应用,满足不同场合的需求。
关键词:轻量化监控系统,SOPC } FPGA,嵌入式操作系统,UDP
Abstract
第一章 绪论
1.1引言
伴随着现代社会生产生活活动复杂性的日益提高,现代社会对于安全保障方面的要求越来越高,范围也越来越广。在人类跨入信息社会之前,安全保障一直以来都以人工保障的方式完成。而以计算机技术、微电子技术、通信技术蓬勃发展为标志的信息社会的诞生,为社会的发展注入了一剂强心针。安防系统便随着这些技术的发展步入了信息时代并逐渐走入了生产安全、银行安保、医疗保障、交通管控、居民住宅监控等社会生产生活的各个方面。视频监控系统是安防系统一个非常重要的组成部分,是在信息化的背景下诞生的新兴事物。它融合了微电子技术、图像处理技术、通信技术和存储技术等各种技术手段为一体,以方便、直观、形象等优点迅速成为了社会生活中不可或缺的一个领域。视频监控系统在国内已经发展了二十多年,已经从单纯的模拟信号为主要信息载体发展到当今的数字模拟信号相结合,甚至是全数字的多功能复杂监控系统[f}l。当今的监控系统,己经和嵌入式技术结合起来,在体积、功耗、成本、可靠性等方面都有了质的提升。由于社会治安形势的日益严峻,视频监控领域仍将是持续并有广阔前景的研究领域。
1.2监控系统的发展与现状
视频监控,从技术上来讲是对现场被监控区域进行图像采集,以一定的方式将图像传输至监控端并辅以控制和存储手段协调整个系统。从发展角度来讲,视频监控系统的发展大致经历了三个阶段。第一代视频监控系统存在于上世纪90年初及先前一段时间,当时的大多数的视频设备都是以模拟信号为信息载体的模拟设备,因此也就构成了第一代的全模拟闭路电视监控系统。这种系统功能单一,抗干扰能力差,可监控范围受到很大限制,也不便于进行复杂的图像处理工作。第二代视频监控系统诞生于上世纪九十年代中期,当时的计算机技术得到了跨越式的发展,将计算机应用于视频监控系统己经成为研究和市场的主流,计算机大大提高了视频数据处理的能力,相应的计算机软件的发展也为在计算机显示器上实现更复杂的图像应用奠定了基础。这个阶段的视频监控系统图像质量得到很大改善,并且功能也随着市场的需求丰富逐渐完善。这种以PC机为监控端的视频监控系统前端的视频采集仍然采用模拟信号,在PC机上使用视频卡将之转换压缩为数字信号,然后使用DVR(数字硬盘录像机)将视频数据存储,因此习惯上将之称为模数混合本地视频监控系统。随着网络的发展、嵌入式技术的应用以及计算机处理能力和存储容量的进一步提高,第三代视频监控系统在上世纪九十年代末出现在市场上。这个阶段的监控系统实现了全数字化,它从图像采集端输出即是数字信号,以IP网络为依托,综合了视频压缩、处理、传输、存储和回放等数字手段,借鉴了现代计算机领域丰富的智能图像处理分析技术,使得视频监控系统的应用范围得到极大的扩展,监控范围也由原来的小范小规模围监控扩展到大规模的的超远距离监控[[3]。这种监控系统又被称为全数字化网络监控系统。目前,香港通力(TriWorks)己经在市场上成熟应用了企业版的第三代监控系统,其中小型企业版本支持16或64路网络视频,大型企业版本可支持多达10000路视频信号,并且提供了简洁友好的计算机端控制软件,可以对分布在远距离的监控端实施统一管理,但它仍未脱离PC机,对与成本来说并不是最优选择。
1.3图像处理技术的发展与现状
数字图像处理诞生于20世纪SO年代后,于六十年代末形成了比较完整的体系并逐渐成为一门新兴科学。近年来,随着计算机技术渗透到社会生产的各个领域,数字图像处理也从一门研究学科逐渐走进诸如航空航天、生物医疗、工业检测、军事侦察、公安司法和文化艺术领域,焦成为辅助各个行业迅速发展的通用工具。目前的数字图像处理技术的发展主要集中在以下几方面:
1.图像编码
目的是使图像转换成一定的信息码,便于图像的传输与存储,现代的图像编码技术可以做到图像经编码后的质量损失极小甚至几乎没有。常用的编码技术有:脉码调制、微分脉码调制、预测码和各种数学变换。
2.图像压缩
由于图像的数字化技术将图像以像素点的形式表现出来,一副图像动辄几十万上百万个像素,而每个点都包含了三种颜色的数据,因此图像的数据量很大。尤其是对于视频等动态图像来说,若不进行图像压缩很难满足数据的快速传输和存储。目前主要的压缩算法有不失真方法和近似方法。其中著名的JPEG和MPEG都采用了近似压缩算法,他们的主要原理是对图像进行快速傅里叶变换或离散余弦变换,在保证了很高的压缩比的同时图像质量并没有很大的下降。
3.图像复原和增强
图像的在采集和传输过程中由于采集端的光学误差,传输信道噪声等各个方面的非理想过程都会造成图像部分损失,图像复原就是为了弥补这种损失而产生的一种技术,它通过建立图像源的原始模型或退化源的数学模型,并以能量连续降减法,Bayes分析法,凸集投影法等各种复原算法来使原来模糊不清的图像尽可能的恢复至原始状况。图像增强的目的是使图像变得更为清晰可辨,使之更适合做进一步的处理和分析。图像增强并不忠实于原始图像,而是通过某些算法突出图像中的物体轮廓和颜色对比,处理后的图像一般比原始图像更为清晰。主流的图像增强方法有:灰度等级直方图处理、干扰抑制、边缘锐化和提取、伪彩色处理等。
4.图像分析
图像分析用于从图像中提取出特定的数据或信息,并将图像中根据特定区域或特定条件提取出的信息加以分类,提供对被分析图像的一种具体描述。这种技术主要用于模式识别和人工智能领域。通过对图像特征的提取和匹配,己达到检测图像中某种特定信息的目的。计算机或人可以根据检测后的信息做出相应的反应或处理,目前这种技术己经广泛用于字符和图形识别、用机器人进行产品的装配和检验、自动军事目标识别和跟踪、指纹识等.并将琳纯得到讲一步扩展应用。
1.4嵌入式系统及嵌入式操作系统的发展与现状
嵌入式系统,根据IEEE(国际电机工程师协会)的定义,可以解释为“控制、监视或者辅助装置、机器和设备运行的装置”(devices used to control, monitor, or assist the operation of equipment, machinery or plants )。在国内,嵌入式系统的普遍定义为:以应用为中心,以计算机技术为基础,软件硬件可裁剪,适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统[[6]。它是在二十世纪九十年代诞生并迅速成长起来的一种系统,目前已经广泛应用于工业控制、武器控制、消费类电子、通信广播、、银行系统等各个领域。现在应用比较广泛的嵌入式硬件系统按照核心处理器的不同可分为如下几类:1.基于微控制器(Microcontroller Unit, MCU)的嵌入式系统基于MCU的嵌入式系统的代表是单片机系统,它拥有丰富的控制外设,并且是单芯片集成,在体积和功耗上有着很大优势,因此在单片机诞生后20多年的时间里仍然是嵌入式工业系统控制的主流并占据了嵌入式领域70%的市场份额。但是由于MCU性能有限,所以没有进入高端的嵌入式控制领域[7Ja2.基于微处理器(Micro Processor Unit, MPU)的嵌入式系统ARM ( Advanced RISC Machines,先进精简指令集计算机)是这个领域中的代表作,它继承了通用计算机的体系结构,拥有较高的处理能力,但是售价比MCU较高。基于MPU的嵌入式系统在实际应用中可以保留只与工程相关的功能硬件,以最低的资源消耗和成本实现某些专用的嵌入式工程要求,它也是一般ASIC(专用集成电路)的代名词。3.基于DSP处理器(Embedded Digital Signal Processor EDSP)的嵌入式系统DSP专门用于信号处理和大数据量运算为主的嵌入式系统里,由于它拥有专用的DSP指令和编译系统,所以在运算速度和专用性能上要比MPU和MCU快几十到上百倍,主要用于语音和视频的编解码工作、通信信道数据处理工作。
第二章 监控系统需求分析
2.1需求分析
本文研究的网络监控系统源于课题组的“CCD图像光纤传输系统”项目,目的是实现对发送接收光端机远程监控。\"CCD图像光纤传输系统”应用场景如下图所示:
图2-1 CCD图像光纤传输系统应用场景高速CCD相机可以获得超高的分辨率和高清的画面,其应用非常广泛,CCD相机常采用通用的Camera link接口线缆来进行数据传输,但这种线缆有效传输距离不足10米,限制了CCD高清晰度图像的应用。\"CCD图像光纤传输系统”通过对CCD相机图像作串化处理,采用光纤进行传输,在解决长距离传输同时,还可以通过光纤滑环解决某些特殊环境下CCD摄像头3600自由旋转的难题。这一设计方案除可以应用于航空航天、军事装备等高端环境外,也可以应用于交通、物流管理等地方。对工业设备进行监控、管理和维护是保证设备正常运行的必要手段,监控的方式也一直随着技术的发展而不断更新升级。在“CCD图像光纤传输系统”中,通过电路设计,对传输系统的工作中的状态进行了有效的监控。之前的设计方案采用了传统的RS232, RS422串行传输总线来进行状态的监测,对系统运行的总体情况进行控制和管理,并且可方便地进行系统配置维护和故障定位。然而,传统的RS232, RS422组网的方式传输距离非常有限且速率较低,工作人员需要在工业现场对设备进行监控维护。网络技术的发展使得基于网络的远程监控成为了现实,当光端机设备具有网络通信功能时,工作人员可以任何时间、地点、使用任意一台接入网络的终端设备查看光端机设备的状态信息,并进行控制、管理操作。
2.2监控系统总体方案
\"CCD图像光纤传输系统”涉及收发光端机,收发光端机以光纤相连,网络监控系统需要同时能够获得这两个光端机的状态信息,并能对光端机进行管理、控制。网络监控系统应用场景如图2-2所示:
图2-2嵌入式网络监控系统的应用场景
在发光端机,CCD图像传输模块实现并行图像数据串化处理,将CCD图像数据转换为适合在光纤上传输的高速串行比特流;在收光端机,它实现了逆向的串并转换操作,将串行的数据解析出来,恢复成图像数据。为了实现对光端机的远程监控,我们在收发光端机内部FPGA围绕Micorblaze软核处理器架构了嵌入式处理器系统,并实现嵌入式Web服务器;同时,为了对收发光端机的工作状态的访问和控制,我们将CCD图像传输模块以用户IP核的方式挂载到嵌入式处理器系统;此外,为了监控收发光端机,还需要设计网口到光口的转换机制,从而可以通过接入网络的监控主机获取收发光端机的状态,并对光端机进行控制管理操作。
2.3 SOPC系统开发流程
本文在FPGA芯片上采用SOPC架构实现嵌入式网络监控系统以达到收发光端机远程监控的目的,本小节将对这种技术的设计流程作简单的介绍。片上可编程系统SOPC技术在单颗FPGA芯片内包含一个或多个处理器、总线架构、大容量的存储器、外设、输入输出接口等多种硬件资源,软件上包含嵌入式操作系统和应用软件,用一个芯片构成整个系统,软硬件都可以按需定制,体现了硬件可裁剪、软件可编程的特点,具有体积小、功耗低、可靠性高的优点。SOPC的设计常采用软硬件协同设计的方法,软硬件协同设计流程如图2-4所示。
图2-4软硬件协同设计流程Xilinx公司的EDK开发套件集成了SOPC开发过程所需的工具:硬件平台开发工具XPS和软件开发工具SDKe XPS可以快速的完成嵌入式硬件平台的构建,并可以提供行为级、结构级以及定时精确级的仿真;SDK基于Ecl币se开放资源工具组件,可以为用户提供嵌入式软件的开发环境,在SOPC开发过程中,软硬件的开发可以同时进行,这极大的缩短了基于SOPC产品的开发周期。
2.4本章小结
本章首先分析了“CCD图像光纤传输系统”对网络监控功能的需求,然后针对设计的需求,讨论了在FPGA上网络功能实现方案,根据设计的需求给出了嵌入式网络监控系统的总体设计方案,并对片上可编程系统SOPC技术设计流程进行了介绍。
第三章 系统硬件设计与实现
3.1硬件系统相关概述
3.1.1硬件系统在FPGA中的构成
本系统由多路前端采集发送端和一个接收显示端组成,形成一个多对一的网络监视系统。图3.1中所表述的是系统在开发板及FPGA内部的模块构成图。
图3.1开发板及FPGA内部的模块构成图
图3.1的左端是采集端。系统将采集模块、图像处理模块、SDRAM存储控制、CPU,网络芯片都通过Avalon总线集成到了一个SOPC系统中,使用单个芯片和一些必要的外部芯片实现了摄像头+视频采集处理卡+网络发送设备三种器件加在一起所能实现的功能,充分体现了轻量化监控系统的特点。