多媒体通信技术五.ppt

《多媒体通信技术五.ppt》由会员分享，可在线阅读，更多相关《多媒体通信技术五.ppt（46页珍藏版）》请在课桌文档上搜索。

1、第五章 多媒体通信关键技术,5.0多媒体信息输入、输出及存储技术,多媒体计算机所涉及的输入输出技术包括视频图像技术、音频技术、语音技术、图像图形技术和文本技术等。在多媒体计算机系统中，支持系统输入输出的功能是由一些具有特定功能的功能卡来实现的。有一些功能卡是专门支持多媒体信息的采集与处理的，如视频卡、音频卡、VGA与TV转换卡、图形加速卡、SCSI接口卡、光盘接口卡等。,5.0.1 视频信息输入输出技术,计算机只能处理数字图像信息，而现有的视频源都还只是模拟图像信息，需要先将模拟图像信息转变为数字图像信息。计算机对图像进行相关的处理之后，在进行显示的时候也必须要将数字图像转换成模拟图像信息，需

2、要一个视频转换卡来完成相应的功能。,1、视频卡的基本工作原理,为了适应多种视频源的应用，视频采集卡一般都具有多个不同视频接口，分别对应录像机、影碟机和摄像机等视频源，可以通过相应的视频软件来选择所需视频源,信号的转换和解码。对应不同的电视制式采用不同的颜色空间。对于PAL电视制式，解码后得到YUV信号，再转换为RGB信号,视频信号的捕获、播放和显示，完成对视频输入信号的裁减、比例变化、VGA同步、色键控制、PC总线接口和对帧存储的操作,输出经过处理的RGB信号，与VGA显示卡输出的RGB信号完全同步,视频随机访问存储器，专为视频显示设计，可提供两个端口的同步读写能力，比一般的DRAM方式快,2

3、、常用视频卡,（1）视频接收卡 也称为电视接收卡，其主要功能有两项：接收电视台发送的电视信号 将模拟电视信号数字化后叠加显示在VGA中并完成最后的显示,（2）视频转换/捕获卡,视频转换卡完成计算机视频信号和电视视频信号间的转换。一般分为两类：完成由计算机的VGA信号到各种标准制式的电视信号的转换并在电视机上播放或进行录像，也被称作PCTV卡或VGATV卡；完成将标准的各种制式电视信号转换成在计算机屏幕上显示的VGA信号，也叫做TVVGA卡。,视频捕获卡的主要功能是从视频图像信息中实时或非实时地捕获静态或短时间的动态视频图像。以AVI格式存储,（3）MPEG卡,分为压缩卡和解压卡 MPEG压缩卡

4、一般为专业人士使用，可以对静止和动态图像按照相应的标准进行实时和非实时的压缩和还原处理。MPEG解压卡也称为影碟卡，把MPEG文件进行解压缩并恢复播放。,3、摄像头,摄像头的基本工作原理：外界景物通过摄像头的镜头（透镜）生成光学图像，再投射到图像传感器表面转换为模拟电信号，经过A/D变换转换为数字图像信号，送到数字处理芯片（DSP）进行加工处理，再通过与计算机的接口传输到计算机中进行处理，最后，通过显示器就可以看到图像了。,模拟摄像头：捕获的模拟视频信号必须经过PC的视频卡进行数字化转换，经压缩后送入PC处理。数字摄像头（网络摄像头）：可直接捕获视频图像，通过USB或IEEE1394高速接口输

5、入PC，无需视频卡。,摄像头的主要性能指标：,（1）摄像器件 CCD（电磁耦合组件）：成像质量较高，适合影像质量较高的场合 CMOS：成像质量较低（2）像素分辨率 30万像素（VGA，640480）130万像素（SXGA，12801024）,（3）颜色深度：24位，30位（4）视频捕获速度（帧率）：帧率太低会出现跳帧现象（5）接口方式：早期接在PC的并口上，速率大1Mbps；现在接在PC的USB接口上，USB1.1速率达12Mbps，USB2.0速率达480Mbps，1394接口速率达100400Mbps,4、投影仪 分为三类：CRT投影机 LCD投影机 DLP投影机。,5.0.2 音频信息的

6、输入输出技术,音频信息包括语音和音乐。音频信息的输入输出主要是由音频卡来完成的。音频卡的主要功能：录制和播放声音文件；对声音文件进行编辑和合成；对数字声音文件进行压缩和解压缩，节省磁盘空间；MIDI音乐录制和合成；文语转换和语音识别。,一般声卡都支持双声道立体声的采样，可支持的采样频率有：8kHz，11.025kHz：针对一般语音质量的要求；16kHz，22.05kHz，32kHz：针对普通音乐效果；44.10kHz，48kHz：针对高保真音乐效果；,5.0.3 语音识别技术和语音合成技术,语音识别技术就是使计算机能够听懂人的声音内容并可以识别出特定说话人的技术。根据不同的需求，语音识别的内容

7、可分为狭义的语音识别和说话人语音识别。前者是要排除不同人的发音差异，提取代表语音的共性特征，听懂说话人所说的话。后者是寻求说话者的个性特征以辨别说话人的身份。,5.0.4 其它输入输出技术,1、扫描仪2、触摸屏,5.0.5 多媒体存储技术,1、光盘库:该系统是一种带有自动换盘装置（机械手）的光盘存储共享设备。一般用于对那些不经常使用的数据进行存储。光盘库系统一般是由光盘架、自动换盘装置和光盘驱动器组成。DVD光盘库的主要特点如下：1）高容量：每张DVD盘片容量达到5.2GB，总容量达到TB。2）检索速度快：换盘时间在秒级，支持跨盘存取。3）高可靠性：光盘的寿命为100年。4）与各系统无缝连接：

8、可应用于Windows NT，Net Ware，Unix，IBM等系统。5）安装简便易于管理。,2、存储区域网络SAN存储区域网络SAN通过单独的高速光纤网络将存储设备和局域网上的服务器群连接起来，数据的存取通过存储区域网在服务器和海量存储设备间进行高速传输。存储区域网络SAN是一种可满足海量（TB-PB数量级）、大量的I/O吞吐量和高端应用需求的网络式存储技术。,存储区域网络SAN的特点如下：实现大容量存储设备的共享和高速的数据传输。连接方便和远距离传输。实现主机与存储设备的分离。提高数据的可靠安全性。,3、多媒体数据库,由若干个多媒体对像所构成的集合，这些多媒体数据对像是按某种特定的方式组

9、织起来并为其它的具体应用共享。多媒体数据管理系统MMDBM是以多媒体数据库MMDB为基础的且能完成对多媒体数据库MMDB的各种操作和管理功能的多媒体应用系统。由于多媒体数据自身的特点，如由多种媒体构成且数据量巨大、媒体数据间的不同约束关系、实时性的要求等，使得多媒体数据库系统有别于传统的数据库系统。,关系模型是目前数据库系统中最常用的数据模型之一。关系模型是建立在关系代数的基础之上的，有较为严密的理论基础，其数据结构简洁明了、直观清晰、易学易用。目前大多数数据库管理系统产品均支持关系模型.关系模型要想存储多媒体数据，就需要进行扩充。,多媒体数据库的体系结构,多媒体数据库管理系统MMDBMS的体

10、系结构分为三层，即数据库管理层、多媒体数据合成层和交互层。,5.1 多媒体通信的分类,按同步显示的传输类型分为：实时多媒体通信和下载模式多媒体通信按交换类型分为：电路型通信：质量较好，带宽较大，费用较高；分组型通信：充分利用网络资源，无法保障QoS、比特率、传输时延及延时抖动 VPN通信：可保障QoS，减少费用。,按连接方式分为：面向连接方式：终端间需先建立起网络连接，再传输。常提供连接确认、超时重传、数据流重整等措施 无连接方式：发送端将数据包送到网上，发送前无沟通，发送中无确认。,按信息传送方向分为：单向传输 双向传输 按传播类型分为：单播：点到点通信 广播：一点到网上所有其他点 多播：一

11、点到网上多个指定的点,按资源分配方式分为：资源预留 资源分配 资源独享,5.2 多媒体通信框架,A.基于服务质量的多媒体通信系统框架 应用层应用支持平台协调层网络层多媒体设备层QoS控制与管理B.基于TCP/IP的多媒体通信模型数据获取子层媒体同步子层通信子层C.异构环境下的多媒体通信模型,5.5 多媒体同步技术,1、多媒体同步概述依赖于时间的媒体也叫时基媒体（连续媒体），不依赖于时间的媒体也叫非时基媒体（非连续媒体）。多媒体同步就是保持和维护各种媒体对象之间以及各种媒体对象内部所存在的时态关系，维持各种媒体序列来达到某种特定任务的目的。可理解为在时间、空间和内容上对多媒体对象的协调、规划和展

12、示技术，此过程将体现在处理多媒体数据的全过程（采集、表示、传输、播放）,多媒体同步受影响因素,1、延时抖动2、时钟偏差3、不同的采集起始时间或不同的延时时间4、不同的播放起始时间5、数据丢失6、网络传输条件的变化,2、多媒体同步分类,从类型上来划分，多媒体的同步类型分为上层同步、中层同步和底层同步。上层同步也称作表现级同步或交互同步，也即用户级同步；中层同步是信息合成同步，也就是不同媒体类型数据之间的合成；底层同步是系统同步，也称为媒体内部同步。,单从各个媒体之间的关系来看，媒体的同步主要包括两个方面：媒体内同步和媒体间同步。媒体内同步是要维持单个媒体数据流内部各个信息单元的连续性；媒体间同步

13、是要维持多个相关媒体流中媒体单元间的时间关系。,3、多媒体数据,一般在说到多媒体数据时至少要包含一种实时媒体数据和一种非实时媒体数据。连续媒体数据可以看作是由逻辑数据单元LDU构成的时间序列，也叫数据流。LDU的内容不是固定的，可以由具体的应用、编码方式、数据的存储方式和传输方式来决定的。,4、多媒体数据约束关系,基于内容的约束关系描述的是不同媒体对像是同一数据内容的不同表现形式而在媒体之间所具有的一种约束关系；空域约束关系也称为布局关系，定义了多媒体数据显示中某个时刻，不同媒体对像在呈现媒体上的空间位置关系；时域约束关系是多媒体数据对像的时域特征，定义了媒体对像在时间上的相互依赖关系。时域约

14、束关系最为重要。,5、多媒体时域特征表示,时域场景及时域定义方案时域特征的表示过程可以用下图来表示。,一个时域场景是由若干时域事件构成，其中的每一个时域事件都是与多媒体数据在时域中发生的某个具体动作相对应的。这些具体动作可以是开始播放、暂停、结束播放、恢复播放等。时间模型是对数据进行抽象描述的数据模型，它是由若干基本部件和部件的使用规则组成。,5.3.4 多媒体同步的四层参考模型,四层模型由规范层、对象层、流层和媒体层构成。由多媒体应用生成时域场景，时域场景是规范层的处理对象。由对象层、流层和媒体层构成同步机制。规范层处理的核心是时域定义方案，其接口可以为用户提供利用多媒体时间模型描述媒体数据

15、时域约束关系的工具，例如同步编辑器、多媒体文档编辑器和著作编辑系统等。规范层产生的同步描述数据和同步容限，经过对象层的适当转换后进入到同步机制。,由对象层、流层和媒体层构成了时域参考框架中的同步机制。在层次参考模型中，每一层都有对应的数据处理对象，同步参考模型体现了不同层次上对同步的要求，每一层实现一个由适当的接口提供的同步机制，这些接口可以用于定义和保证时间关系。,535 同步多媒体集成语言SMILE,从语言的构成来看，SMIL与现在网上使用的HTML语法格式非常的相似。HTML只是对普通的网络媒体文件进行简单的机械性操纵，而SMIL则可以操纵多媒体片断，可以对多媒体片断进行有机的、智能组合

16、。SMIL的主要特点如下：避免使用统一的包容文件格式 同时播放在不同地点上的多媒体片断 时间控制,5.9 流媒体技术,1流媒体的概念流媒体（Streming Media）是指在Internet中使用流式技术进行传输的连续时基媒体，如音视频等多媒体内容。其中“流式（Streming）”技术是指在媒体传输过程中，服务器将多媒体文件压缩解析成多个压缩包后放在IP网上按顺序传输，客户端则开辟一块一定大小的缓冲区来接收压缩包，缓冲区被充满只需几秒钟或数十秒钟的时间，之后客户就可以解压缩缓冲区中的数据并开始播放其中的内容，客户在消耗掉缓冲区内数据的同时，下载后续的压缩包到空出的缓冲区空间中，从而实现了边下

17、载边播放的流式传输。,流媒体特点：,(1)流媒体是实时的，当用户下载媒体文件时，不需要像传统的播放技术那样将整个文件都下载下来之后再播放，而是边下载边播放，节省了用户端的缓冲区容量，大大减少了用户的等待时间。(2)流媒体数据在播放后即被丢弃，不会存储在用户的计算机上，便于流媒体文件的版权保护。(3)流媒体的服务器支持用户端对流媒体进行VCR（录像机）操作控制，即用户可以像使用家用录像机一样对流媒体进行播放、暂停、快进、快退、停止等操作。,2流媒体的播放方式,（1）单播（2）组播（3）点播和广播,3流媒体的传输过程,流媒体系统应至少包括以下三个组件：（1）编码器（Encoder）：用于将原始音视

18、频转换成流媒体格式的软件或硬件。常用的流媒体文件格式有：*.wma,*.wmv,*.avi,*.rm,*.mp3,*.mov（2）媒体服务器（Media Server）：用于向客户发布流媒体的软件。（3）播放器（Player）：客户端用来收看（听）流媒体的软件。解码器,4流媒体的传输方式,顺序流传输方式：适合传送较高质量的短片段多媒体内容。只支持单播 实时流传输方式：适合现场直播。支持单播和多播,5.与流媒体传输相关的协议,HTTPUDPTCPRTP/RTCPRSVPRTSP,6.流媒体开发平台,目前市场上主流的流媒体技术有三种：RealNetworks公司的RealMedia Microsoft公司的Windows Media Apple公司的QuickTime,