1.mpeg4视频压缩、嵌入式技术发展的最新动态
在近期举办的安全防范展览会上,可以明显感觉到国内数字录像监控产品开发的厂家已经非常多,竞争也非常激烈,从涉及厂家来看大致可分为三类:整机供应商、套件供应商(板卡+软件)、压缩板卡供应商,其中整机供应商占了绝大部分。从dvr压缩技术来看大致也可分为三类:mjpeg、mpeg1、mpeg4。mjpeg技术主要被南韩、台湾产品所采用,mpeg1技术主要被国内厂家所采用,而mpeg4技术以硬压缩和软压缩两种不同技术实现的方式,普遍被市场所接受。
嵌入式数字视频系统是目前数字安防领域发展最快的一个部分,是数字视频技术发展的最新方向。嵌入式技术的采用,使dvr脱离了传统的pc结构和windows操作系统,系统在稳定性、适用性、可维护性上有根本性的改善,是dvr从工程类产品走向消费类产品的必然步骤。
目前国内的嵌入式视频系统主要分为以下几部分:嵌入式硬盘录像系统、嵌入式视频服务器、嵌入式网络摄像机。从操作系统上来看主要由uclinux、vxworks、psos、ucos等rtos组成。
多媒体监控系统也是目前视频监控领域继续发展的一个方向。90年代出现的多媒体监控技术曾经在视频监控领域吹进一股新风,随着dvr系统的出现,多媒体监控技术也在不断发展。目前由于dvr系统普遍缺乏电视墙显示和矩阵视频切换能力,数字矩阵和dvr的完美结合,既可以保证系统强大的矩阵切换能力同时有可以充分利用dvr强大的录像和网络传输能力,尤其适合大型视频监控系统的应用。
目前从dvr的应用对象来看主要分为两大类,即保安监控、银行柜员制监控。通过两年来的市场培养、技术宣传、实际应用,数字硬盘录像技术的优越性已经逐步被国内银行系统所认可,众多的省份的各大银行也逐步在柜员制上引入硬盘录像系统,单从这点来看dvr系统具有广阔的市场应用前景,将来在电信、电力、公安、海关、司法等部门还将得到更多的应用。
从视频压缩角度来看,两种应用场合对dvr的技术要求水准不一样。保安监控要求路数多、不要求实时录像,而银行柜员制要求路数不多,但要求清晰度高,能够实时录像。综合目前的dvr产品来看,mjpeg压缩标准的dvr主要应用于保安领域、mpeg1压缩标准主要应用于银行柜员制领域。
2.mjpeg、mpeg1技术分析
无论采取何种压缩技术,对最终用户来言他最为关心的无非几大要素:清晰度、存储量、稳定性,还有价格。采用不同的压缩技术,将很大程度影响以上几大要素。
mjpeg(motion jpeg)压缩技术,主要是基于静态视频压缩发展起来的技术,它的主要特点是基本不考虑视频流中不同帧之间的变化,只单独对某一帧进行压缩。目前的基于该技术的视频卡也主要是完成数字视频捕获(capture)功能,在后台由cpu或专门的jpeg芯片完成压缩工作。
mjpeg压缩技术可以获取清晰度很高的视频图像、而且可以灵活设置每路视频清晰度、压缩帧数,但付出的代价是在保证每路都高清晰度的情况下,受处理速度所限,无法完成实时压缩,有较严重的丢帧现象,同时由于没有考虑到帧间变化,造成大量冗余信息被重复存储,因此单帧视频的占用空间较大,目前流行的mjpeg技术最好的也只能做到3k/帧,通常要8~20k!简单计算可以发现即使是丢帧录像,也将耗费大量的硬盘空间,尤其在保安监控领域,由于监控摄像机较多(通常16路),同时进行高清晰度录像,保证一个月的录像存储量是十分惊人的,甚至远远超过采用mpeg1实时录像技术产品。相信使用过该技术产品的用户对此有深刻印象。
mpeg1实时视频压缩技术曾是市场dvr产品主流。mpeg-1压缩标准制定于1992年,为工业级标准而设计,可适用于不同带宽的设备,如cd-rom、video-cd、cd-i。它可针对sif标准分辨率(对于ntsc制为352x240;对于pal制为352x288)的图像进行压缩,传输速率为1.5mbits/sec(最低192kbits/sec),每秒播放30帧,具有cd(指激光唱盘)音质,质量级别基本与vhs相当。mpeg1的编码速率最高可达4-5mbits/sec,但随着速率的提高,其解码后的图像质量有所降低。
较mjpeg技术,mpeg1在实时压缩、每帧数据量、处理速度上有显著的提高。例如在国内pal制式下,mpeg1可以满足多路(>16路)25帧/秒的压缩速度,在500kbit/sec压缩码流(352*288)下,每帧大小仅为2k。简单计算可以表明,mpeg1产品的录像容量是目前硬盘容量可以忍受的(8路以下)。
目前国内dvr厂商mpeg1产品基本都采用以色列或台湾公司的压缩芯片,通过硬件压缩技术可以有效降低计算机负担,解决多路视频同时录像计算机资源有限的问题。但mpeg1也有较多不利地方,其一是存储容量还是过大,尤其当dvr主机超过8路时,为了保存一个月的存储量,通常需要10个80硬盘或更多,硬盘投资大,而由此引起的硬盘故障和维护更是叫人头疼;其二是清晰度不够高,由于mpeg1最大清晰度仅为352*288,考虑到容量、模拟à数字量化损失等其他因素,回放清晰度不高,这也是市场反应的主要问题;其三是不够灵活,只能25帧/秒,不能够丢帧录像,从目前广泛采用的压缩芯片来看,也缺乏有效的调控手段,例如关键帧设定、取样区域设定等等,造成不适合在保安监控领域应用,造价也高。其四,mpeg1由于数据量大,不适合网络传输,尤其是在常用的低带宽网络上无法实现远程视频传输。其实单单从民用市场上来看就知道,尽管mpeg1曾经是vcd的主要压缩标准,但目前mpeg2(dvd)、mpeg4等先进的压缩标准大有取而代之的趋势。
总体看来mpeg1与mjpeg压缩技术由于技术成熟,可供dvr开发厂家的压缩板卡也较多,曾是dvr市场的主流技术,但两者的致命弱点就是硬盘耗费量大,且不能同时满足保安与实时录像场合的需要。尤其在硬盘造价已经接近dvr整机成本价50%情况下,容量与清晰度矛盾更为突出。mpeg4技术的出现,可以有效解决以上诸多问题。
3.mpeg4技术剖析
mpeg4于1998 年11 月公布,它不仅是针对一定比特率下的视频、音频编码,特别注重多媒体系统的交互性和灵活性。最初,mpeg-4标准主要应用于视像电话(video phone),视像电子邮件(video email)和电子新闻(electronic news)等,其传输速率要求较低,在4800-64000bits/sec之间,分辨率为176x144。mpeg-4利用很窄的带宽,通过帧重建技术,压缩和传输数据,以求以最少的数据获得最佳的图像质量。
与mpeg-1和mpeg-2相比,mpeg-4的特点是其更适于交互av服务以及远程监控。mpeg-4是第一个使你由被动变为主动(不再只是观看,允许你加入其中,即有交互性)的动态图象标准;它的另一个特点是其综合性;从根源上说,mpeg-4试图将自然物体与人造物体相融合(视觉效果意义上的)。mpeg-4的设计目标还有更广的适应性和可扩展性。mpeg4 试图达到两个目标: 一、低比特率下的多媒体通信; 二、是多工业的多媒体通信的综合。 据此目标,mpeg4 引入av 对象(audio/visaul objects), 使得更多的交互操作成为可能。
mpeg4压缩技术原本是一种适用在低带宽下进行信息交换的音视频处理技术,它的特点是可以动态的侦测图像各个区域变化,基于对象的而调整压缩方法可以获得比mpeg1更大的压缩比,压缩码流更低。尽管mpeg4并不是专为视频监控压缩领域而实际,但同样也适合cif(352*288)或者更高清晰度(768*576)情况下的视频压缩,无论从清晰度还是从存储量上都比mpeg1具有更大的优势。
mpeg4压缩标准构成
dmif(the dellivery multimedia integration framework), 即多媒体传送整体框架,它主要解决交互网络中、广播环境下以及磁盘应用中多媒体应用的操作问题。 通过传输多路合成比特信息来建立客户端和服务器端的交互和传输。 通过dmif,mpeg4可以建立起具有特殊品质服务(qos)的信道和面向每个基本流的带宽。
mpeg4中的数据平面可以分为两部分:传输关系部分和媒体关系部分。为了使基本流和av对象在同一场景中出现,mpeg4引用了对象描述(od)和流图桌面(smt) 的概念。od 传输与特殊av对象相关的基本流的信息流图。桌面把每一个流与一个cat(channel assosiation tag)相连,cat可实现该流的顺利传输。
mpeg4定义了一个系统解码模式(sdm),该解码模式描述了一种理想的处理比特流句法语义的解码装置,它要求特殊的缓冲区和实时模式。通过有效地管理,可以更好地利用有限的缓冲区空间。
mpeg4的优越之处在于--它不仅支持自然声音,而且支持合成声音。mpeg4的音频部分将音频的合成编码和自然声音的编码相结合,并支持音频的对象特征。
与音频编码类似,mpeg4也支持对自然和合成的视觉对象的编码。 合成的视觉对象包括2d、3d 动画和人面部表情动画等。
mpeg4提供了一系列工具,用于组成场景中的一组对象。一些必要的合成信息就组成了场景描述,这些场景描述以二进制格式bifs(binary format for scene description)表示,bifs与av对象一同传输、编码。场景描述主要用于描述各av对象在一具体av场景坐标下,如何组织与同步等问题。同时还有av对象与av场景的知识产权保护等问题。mpeg4为我们提供了丰富的av场景。
4.mpeg4在dvr系统中应用
mpeg4基于场景描述和面向带宽设计的概念,使其在视频监控录像领域中在以下几个方面具有巨大的优势:录像存储容量、录像清晰度、录像帧率可调、网络传输。
大幅度降低录像存储容量
mpeg4在压缩方法上远远优于mpeg1,更是mjpeg不能比拟的。经过测试表明,对静止、一般活动场景、剧烈活动场景三种情况下、在相同清晰度对应mpeg1(500kbits/sec)码流情况下,存储容量测试结果见下表:(采用cif(352*288)格式)
序号 | mjpeg | mpeg1 | mpeg4 |
1帧 | 1分钟 | 1小时 | 1帧 | 1分钟 | 1小时 | 1帧 | 1分钟 | 1小时 |
静止 | 6k | 9m | 540m | 2.4k | 3.6m | 216m | 0.68k | 1.02m | 61.2m |
一般活动 | 7.2k | 10.8m | 648m | 2.4k | 3.6m | 216m | 1.07k | 1.6m | 96m |
剧烈活动 | 11k | 16.5m | 990m | 2.4k | 3.6m | 216m | 1.68k | 2.52m | 151.2m |
注意:该测试结果随场景变化有所出入
由此可见在静止情况下mpeg4比mpeg1节省了2/3的硬盘空间,在一般活动场景下也节省近一般的容量。单从这项指标来看就能节省大量的硬盘投资,或者保留更长的存储时间。值得说明的是,目前市面mpeg1压缩芯片通常只支持定码流压缩,因此在场景活动加剧情况下存储容量不变,但是回放画面可以发现马赛克显著增加,同时运动部分图像清晰度下降。而mpeg4可以根据场景变化自动调整压缩方式,保留较好的存储图像。
较高的录像清晰度
尽管mpeg4标准是瞄准在低带宽上的音视频解决方案,但是它独特的压缩方式同样也适合cif或更高清晰度(768*576、640*480)的视频压缩,这样它就有效突破了mpeg1最大清晰度cif(352*288)限制,可获得更好的视频压缩质量,在银行柜员制监控中可以得到更好的应用。mpeg1受最高清晰度和存储容量的限制,很难设定较小的压缩比获取较高质量的图像,在柜员制点钞过程中,钞票的图像还是比较模糊,利用mpeg4应有很大的改善,同时mpeg4基于av对象压缩的模式也决定了它对运动物体可以保证较好的录像清晰度。
尤其随着计算机cpu和视频专用dsp芯片处理能力的大幅度增强,目前出现了一种向高端d1(768*576)格式清晰度发展的趋势,图像清晰度明显增高,同时硬盘容量的不断增大、价格不断降低,也客观提供了合适的存储媒介,可以满足目前金融系统1个月的录像存储要求。
录像帧率可调
相信很多用户对于mjpeg帧率可调的使用方式非常熟悉,也有很多客户会提出能否降低mpeg1帧率获取更长录像时间的要求。mpeg4可以非常容易地实现这个功能。与mjpeg方式有什么不同呢?想想看吧,使用了高压缩比的mpeg4算法,又结合丢帧功能,硬盘的使用空间将降低到什么程度!mpeg4的优越性可以更好的体现出来。现在你可以将mpeg1与mjpeg优点都集合起来啦,在同一台dvr上,可以对柜员制摄像机设置为25帧/秒的录像帧率,对atm、保安监控摄像机设置为1~25帧/秒的录像帧率。
目前金融等专业客户已经意识到以前的要求每秒25帧的录像能力,在实际应用中意义是不大的,从国外的dvr应用状况来看,不是非常特别的场合,通常每秒10帧左右的录像能力就已经能够满足实际应用的要求。因此采用d1高清晰度录像格式,同时对录像的场景进行合理的分析,采用帧率可调的方式,可以有效地满足实际的需要,同时降低系统的负荷和减少对硬盘容量过于苛刻的要求。
网络传输
mpeg4优越的视频压缩方式,也决定了其在低带宽网上具有优秀的表现。在中国实际应用场合,网络应用环境还远不能国外相比,尤其在银行系统,不可能花昂贵的租金去申请一条1m的ddn线路用于每个网点的远程监控,可以被广泛利用的只有isdn(综合业务数字网<128k)和pstn(公共普通电话线网<64k)。如何在如此低的带宽上传输视频,正是mpeg4大显身手的地方。目前在低带宽上传输活动视频的另一个解决方案就是采用h.263通讯标准,尽管h.263也具有较高的压缩比,但是图像质量比mpeg4差。
我们根据mpeg1、mpeg4、h.263几种标准,在普通电话线路上、宽带网上传输视频测试结果如下:
网络类型 | mpeg1 | h.263 | mpeg4 |
pstn 普通电话线 | 无法传输 | 5~9帧/秒 图像质量较差 | 5~15帧/秒 图像质量好 |
lan 局域网 | 25帧/秒 需500kbits带宽 | 25帧/秒 需256kbits带宽 | 25帧/秒 需256kbits带宽 |
5.嵌入式dvr技术剖析
嵌入式dvr(embed-dvr)和传统的dvr(pc-based dvr)体系完全不相同。典型的嵌入式dvr体系结构为:arm(cpu)+dsp视频处理芯片+rtos嵌入式操作系统。而典型的pc-based dvr体系结构为:cpu(x86)+pci视频压缩板卡+windows操作系统。
客观地说,嵌入式dvr和pc-dvr在视频压缩、存储、网络传输、检索、报警控制等dvr典型功能上并无根本性的差别,采用了嵌入式的方案设计可以在成本、稳定性、可操作性、可维护性上有根本的突破,同时嵌入式操作系统的软件往往免费或非常便宜,同windows操作系统相比有着无可比拟的优势。
所谓嵌入式系统一般指非pc系统,它包括硬件和软件两部分。硬件包括处理器/微处理器、存储器及外设器件和i/o端口、图形控制器等。软件部分包括操作系统软件(要求实时和多任务操作)和应用程序编程。有时设计人员会把这两种软件组合在一起。嵌入式操作系统可以广泛应用于pda、掌上电脑、手机、信息家电(网络冰箱、机顶盒)等嵌入式设备。嵌入式操作软件及其应用软件的共同特点是: 一. 软件要求固化存储在存储器芯片或单片机本身中,而不是存储于磁盘等载体中;二. 软件代码的高质量、高可靠性;三. 系统软件的高实时性和多任务操作要求。
典型嵌入式dvr操作系统介绍
windows ce
microsoft windows ce是从整体上为有限资源的平台设计的多线程、有完整优先权、多任务的操作系统。它的模块化设计允许它对于从掌上电脑到专用的工业控制器的用户电子设备进行定制。操作系统的基本内核需要至少200k的rom。 windows ce 主要用于pda,界面优美,功能强大,程序移植性好,但在国内嵌入式dvr领域没有介入。
vxworks
vxworks是目前嵌入式系统领域中使用最广泛、市场占有率最高的系统。它支持多种处理器,如x86、i960、sun sparc、motorola mc68xxx、mips rx000、power pc等等。大多数的vxworks api是专有的,采用gnu的编译和调试器。
vxworks被广泛应用于要求最高的军用场合,功能强大、开发便利,但由于版权和价格问题,在国内嵌入式 dvr领域使用较少。
psos
isi公司已经被winriver公司兼并,现在psos属于windriver公司的产品。这个系统是一个模块化、高性能的实时操作系统,专为嵌入式微处理器设计,提供一个完全多任务环境,在定制的或是商业化的硬件上可达到高性能和高可靠性。可以让开发者根据操作系统的功能和内存需求定制成每一个应用所需的系统。开发者可以利用它来实现从简单的单个独立设备到复杂的、网络化的多处理器系统。
目前国内部分嵌入式dvr开发厂商采用了基于philips.tremedia1301(dsp+cpu)+psos操作系统的结构。
palm os
3com公司的palm os在pda市场上占有很大的市场份额,它有开放的操作系统应用程序接口(api),开发商可以根据需要自行开发所需要的应用程序。
linux
经过几年的发展,linux技术和产品日趋成熟,有越来越多的公司了解了linux的优点而选用linux作为主要的平台,安全监视(surveilliance)应用亦不例外。
linux以其独特的特性,已经深入数字影像监控市场多时,其可针对不同硬件设备(pc或单晶片)与数字影像监控应用需求而量身订制,不仅可免去制式系统的复杂性,并可有效减少对硬体件资源的需求;为了有效降低数字影像监控、安全管理系统的整体运作成本,linux作业系统应是最适当的选择。以下简述linux所具备的特性∶
一. linux提供多人使用(multiuser)、多工(multitask)的完整作业环境,只要很少的硬件支援,便能在多种不同电脑设备(或是单晶片)上运作。
二. linux具备高解析度与优秀的图形介面(gui),可大幅提升数字监控系统应用的亲和力。
三. linux完全免费,可任意在网路上下载、复制、使用,同时它的程式码也完全公开,可以任意开发、更改。这一特点使得全世界已超过千万人使用linux,更由于许多厂商投入开发核心程式、发展相关软件以及硬件周边驱动程式,使linux功能和完整性日益提高。
四. linux本身开放性的架构与弹性(scalable)设计,可针对数字影像监控应用量身订作,去除与监控无关的多馀功能,在提升系统效能的同时,也减少了出问题的机率。
五. linux是针对网路作业设计,可支援tcp/ip、www等多项国际标准,能迎合新一代dvr产品网际网路/通信网路连结的所有需求。
由于数字影像监控系统是很专门的领域,其中又牵涉到大量i/o作业的影像撷取/储存以及cpu运算的影像压缩/解压缩,因此,为能满足每天24小时、每周7天的线上服务需求,以及有效减少整体作业营运的成本,除功能面的考虑外,作业平台的选择亦十分重要。
(慧聪安防论坛网友提供)