机器人的眼睛.ppt
机器人视觉,机器人的眼睛,机器人的眼睛也就是我们常说的机器人视觉【robot vision】定义：使机器人具有视觉感知功能的系统。机器人视觉可以通过视觉传感器获取环境的二维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辨识物体，并确定其位置。,视觉传感器摄像头,简 介分 类结 构 和 组 件工 作 原 理应 用 举 例技 术 指 标注 意 事 项未 来 展 望,1.简介,摄像头（CAMERA）又称为电脑相机、电脑眼等，它作为一种视频输入设备，在过去被广泛的运用于视频会议、机器人科研、远程医疗及实时监控等方面。,2.分类,CMOS 模拟摄像头（complementary metal oxide semiconductor）：电荷耦合器件 可以将视频采集设备产生的模拟视频信号转换成数字信号，进而将其储存在计算机里。模拟摄像头捕捉到的视频信号必须经过特定的视频捕捉卡将模拟信号转换成数字模式，并加以压缩后才可以转换到计算机上运用。数字摄像头可以直接捕捉影像，然后通过串、并口或者USB接口传到计算机里。CMOS的优点是集成度高、功耗低（不到CCD的1/3）、成本低。但是噪音比较大、灵敏度较低、对光源要求高。,CCD 数字摄像头(charge couple device)：互补金属氧化物半导体 现在电脑市场上的摄像头基本以数字摄像头为主，而数字摄像头中又以使用新型数据传输接口的USB数字摄像头为主，目前市场上可见的大部分都是这种产品。CCD的优点是灵敏度高，噪音小，信噪比大。但是生产工艺复杂、成本高、功耗高。目前只有少数几个厂商例如索尼、松下等掌握这种技术。,3.结构和组件,1、镜头（LENS）透镜结构，由几片透镜组成，一般有塑胶透镜(plastic)或玻璃透镜(glass)。通常摄像头用的镜头构造有：1P、2P1G1P、1G2P、2G2P、4G等。（P、G分别代表塑胶透镜和玻璃透镜,如1G1P表示这款摄像头的镜头由一片塑胶透镜和一片玻璃透镜组成）透镜越多，成本越高；玻璃透镜比塑胶贵。因此一个品质好的摄像头应该是采用玻璃镜头，成像效果就相对塑胶镜头会好。现在市场上的大多摄像头产品为了降低成本，一般会采用塑胶镜头或半塑胶半玻璃镜头（即：1P、2P、1G1P、1G2P等,2、图像传感器（SENSOR）可以分为两类：CCD（charge couple device）：电荷耦合器件CMOS(complementary metal oxide semiconductor)：互补金属氧化物半导体 3、数字信号处理芯片DSP（Digital Signal Processing）DSP生产厂商较多，市面上较为流行的有：(松翰)SONIX、VIMICRO（中星微）等4、电源摄像头内部需要两种工作电压：3.3V和2.5V，因此好的摄像头内部电源也是保证摄像头稳定工作的一个因素。,4.工作原理,摄像头的工作原理大致为：景物通过镜头（LENS）生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过USB接口传输到电脑中处理，通过显示器就可以看到图像了。,注1：图像传感器（SENSOR）是一种半导体芯片，其表面包含有几十万到几百万的光电二极管。光电二极管受到光照射时，就会产生电荷。注2：数字信号处理芯片DSP（DIGITAL SIGNAL PROCESSING）功能：主要是通过一系列复杂的数学算法运算，对数字图像信号参数进行优化处理，并把处理后的信号通过USB等接口传到PC等设备。,5.应用举例,6.技术指标,1、图像解析度/分辨率(Resolution)：SXGA（1280 x1024）又称130万像素XGA（1024 x768）又称80万像素SVGA（800 x600）又称50万像素VGA（640 x480）又称30万像素（35万是指648X488）CIF(352x28 又称10万像素SIF/QVGA(320 x240)QCIF(176x144)QSIF/QQVGA(160 x120)这里的分辨率（像素）指的是光学分辨率 是摄像头的两个重要指标。像素值指的是图像中独立像素点的数目，由CCD或CMOS决定。像素值越大，表示其图像解析能力越强。,单个像素,2、图像格式(Image Format/Color space)RGB24,I420是目前最常用的两种图像格式。RGB24：表示R、G、B三种颜色各8bit，最多可表现256级浓淡，从而可以再现256*256*256种颜色。I420：YUV格式之一。其它格式有:RGB565，RGB444，YUV4:2:2等。,3、自动白平衡调整（AWB）定义：要求在不同色温环境下，照白色的物体，屏幕中的图像应也是白色的。色温表示光谱成份，光的颜色。色温低表示长波光成分多。当色温改变时，光源中三基色（红、绿、蓝）的比例会发生变化，需要调节三基色的比例来达到彩色的平衡，这就是白平衡调节的实际。,4、图像压缩方式 JPEG：(joint photographic expert group)静态图像压缩方式。一种有损图像的压缩方式。压缩比越大，图像质量也就越差。当图像精度要求不高存储空间有限时，可以选择这种格式。目前大部分数码相机都使用JPEG格式。5、彩色深度（色彩位数）反映对色彩的识别能力和成像的色彩表现能力实际就是A/D转换器的量化精度，是指将信号分成多少个等级。常用色彩位数（bit）表示。彩色深度越高，获得的影像色彩就越艳丽动人。,6、图像噪音 指的是图像中的杂点干扰。表现为图像中有固定的彩色杂点。7、视角与人的眼睛成像是相成原理，简单说就是成像范围。8、输出/输入接口串行接口（RS232/422）:传输速率慢，为115kbit/s并行接口（PP）：速率可以达到1Mbit/s红外接口（IrDA）：速率也是115kbit/s，一般笔记本电脑有此接口通用串行总线USB：即插即用的接口标准，支持热插拔。USB1.1速率可达12Mbit/s,USB2.0可达480Mbit/sIEEE1394(火线)接口(亦称ilink):其传输速率可达100M400Mbit/s,7.注意事项,日常使用摄像头时，应当注意以下几点：a、不要将摄像头直接指向阳光，以免损害摄像头的图像感应器件。b、避免摄像头和油、蒸汽、水气、湿气和灰尘等物质接触，避免直接与水接触。c、不要使用刺激的清洁剂或有机溶剂擦拭摄像头。d、不要拉扯或扭转连接线，类似动作可能会对摄像头造成损伤。e、非必要情况下，不要随意打开摄像头，试图碰触其内部零件，这样容易对摄像头造成损伤。f、平时应当将摄像头存放在干净、干燥的地方。,选购时应注意以下问题：1、像素值和分辨率是摄像头的两个重要指标。问清楚标称的像素值是真实的像素还是插 值所得，因为两者无论从成本上还是效果上 来比较，都有天渊之别。什么是插值后的素 呢?插值后的像素，是在周围像素的基础上用 数学公式计算出的“丢失”的像素。2、除了像素值和分辨率之外，拍摄时的帧速率也是决定画面质量的一个重要因素，你可以把它理解成摄像头每秒采样多少个画面。采样的速率越高，影像当然就越流畅。在实际应用中，只有画面刷新的帧数在24帧/秒以上，人的眼睛才不会察觉到明显的停顿。注：限于成本，目前主流摄像头的最大帧速率大都为30帧/秒,3、镜头和焦距镜头在摄像头中的地位相当于人的眼睛，影像是否明亮清晰往往就取决于镜头的好坏。镜头的成本在整个摄像头中占了很大比例。公认的比较好的镜头应该是用玻璃，或玻璃纤维制造的，并由多片镜片组成。是否镀膜也是评价镜头好坏的一个因素，怎么去分辨镜头有没有镀膜呢?很简单，从侧面看去镀膜的镜头有紫色或者蓝绿色（根据所镀的膜的不同折射的颜色也不同）光泽，而没镀膜的就完全没有这些光泽。4、处理芯片芯片也是影响成像效果的一个很重要因素有些产品采用的芯片质量差，就会造成摄像头在光线不好的情况下根本无法使用。一款摄像头到底采用哪种处理芯片，除非拆开检查，否则我们无从得知，只能靠实际的效果来判断。,8.未来展望,根据IT行业硬件发展的“摩尔定律”来看，数字摄像头也同样遵循其发展规律的，相信在未来几年内会发展的很快。从目前市场情况来看，制约摄像头发展的因素主要有以下几个方面的原因：1、摄像头市场起步较晚，消费者认知度、接受度较低，所以普及率较低，市场容量增大速度不够快，需要加以一定引导来推动市场消费。2、摄像头的实际应用不够广泛，有一定的局限性，目前还是作为一种消费类产品在销售，消费者只是把它作为视频聊天、制作简单的个人影像集、简单的监视系统等的工具。3、现在电脑硬件的限制，如电脑显示卡、显示器的分辨率、USB1.1接口速度，就影响高像素摄像的真正普及。,就目前所掌握的资料来看，数字摄像头的未来发展趋势是：1、高像素（50万、80万）、高质量图像传感器（CCD）、高传输速度（USB2.0或其他接口）的摄像头将会是未来的发展趋势；2、专业化（只作为专业视频输入设备来使用）、多功能化（附带其他功能，例如附带闪存盘，趋向数码相机方向发展，也可以设想以后的摄像头可以具有扫描仪的功能）等也是将来的发展趋势；3、更人性化、更易于使用、更多的实际应用功能才是客户的真正需求。,
