食品安全项目解决方案说明书.docx

食品安全项目解决方案说明书XX科技股份有限公司编制目录一、项目存在问题及需解决问题31. 存在问题32. 需解决问题4二、解决方案51 .解决方案架构72 .关键技术8(1) Hadoop8(2) SpringMVC8(3) MyBatis9(4) Echarts9(5) MySQ1.9(6) Hive9(7) HBASE10(8) Zookeeper10(9) F1.ume10三、开发范围111 .数据生产112 .数据采集/消费113 .数据分析124 .数据展示13一、项目存在问题及需解决问题1 .存在问题2014年国家发改委将“智慧监管”列为智慧城市建设的重要组成部分，国家市场监管总局把“智慧监管”引用到食品安全工作中，食品安全智慧监管巳经从数据静态运用时代进入移动互联时代，食品安全智慧建设都有了长足进步。但就其所起到的作用来看，现有食品安全智慧监管更像锦上添花之计而非釜底抽薪之策，要真正提升智慧监管作用，尚需解决以下突出问题：1 .食品安全智慧监管标靶失准。实现对各关键环节和重点领域监管目标的精准定位，是提升食品安全监管效能的前提，也是智慧监管的首要着力点。然而从国内实践来看，智慧监管靶向性不足的问题较为突出。源头布局力度不足，导致风险向产业链下游转移。从当前我国食品安全风险因子的产业链分布来看，农药兽药残留和添加剂滥用是食品安全的最大风险。但各地现有智慧监管布局的重点却是在流通、加工等下游环节，加大了下游监管压力，增加了治理成本，影响治理效果。而且，目标群体与区域布局失衡，容易导致风险向监管薄弱区域转移。现有食品安全风险多属于人源风险，海量的中小生产经营主体是高危主体，农村则是食品安全薄弱环节和问题多发区域，但现有智慧监管覆盖主体主要是城市的食品生产经营主体。智慧监管目标群体偏差与区域失衡，不可避免地导致不安全食品向农村和监管水平相对较低的地区转移。2 .信息缺乏有效整合与充分共享，使数据标准不统一。政府虽然巳建立起比较完整的信息化平台，但由于各部门间、各层级政府工作重心与目标的迥异，导致数据标准难统一，增加了信息采集成本。同时信息共享不足，数据分析与风险管理衔接不畅。信息系统存在显著的规模经济效应，但由于现阶段信息归集能力有限、部门间信息互通不足，导致信息系统利用效率偏低，甚至成为“空心化”项目。而风险模型构建、智能驱动业务能力等方面的不足，进一步加剧了数据分析与风险管理脱节问题，阻碍了智慧监管风险预警与风险管理优势的发挥。3 .技术革新与监管业务流程优化不同步。虽然智慧监管技术在提升信息效率、促进政府组织扁平化方面已经初现成效，但食品安全监管流程优化步伐滞后于新技术应用速度。例如智慧监管时代的食品安全风险管理还是以事后处罚为主，事前预警仍旧较少。既缺少国家强制力保障的“硬法”规范，也缺少安全保密的“软法”约束。例如在数据信息传递和整合过程中，个人问责机制和归档落实机制匮乏，进而引发严重的数据安全隐患，极易出现侵犯、泄露公民信息的不良行径。2 .需解决问题1.城乡数字鸿沟斯显，城乡监管融合机制有待完善。城乡数字鸿沟以及由此生产的“马大效应”，已经成为城乡食品安全智慧监管融合的重要阻碍。虽然城乡信息接入差距不断缗小，但城乡居民信息利用能力和信息鉴别能力上的巨大差距仍然存在。由于广泛普适、系统科学、运转高效的城乡融合共治模式与稳定的责任链模式尚未形成，在智慧监管时代城乡数字鸿沟将导致食品产业发展质量和食品安全监管能力的严重分化，导致农村食品安全智慧监管建设成本远超城市，城乡监管能力差距进一步拉大，最终影响社会公平。而农村、源头食品安全风险又通过产业链向下游转移，最终增加了城市食品风险的不确定性，制约城市食品安全水平的进一步提升。2 .部门协同水平低的痼疾被放大，协调机制有待完善。虽然大部制机构改革初步解决了食品安全监管“九龙治水”的问题，但与智慧监管要求来看，现有的部门协谖机制难以满足要求。新时期信息技术与食品产业加速融合，一方面加速了食品产业的数字化进程与监管智能化水平，但另一方面也带来了居民食品消费多样性、分享性、互动性增强，消费边界拓宽等新特征，其虚拟性、非直观性等特点也加剧了食品安全信息不对称，容易诱发更多食品安全问题。而在食品产业发展整体质量偏低、食品行业信任危机尚未完全恢复的背景下，互联网还会放大食品安全等问题的严重性，增强食品安全风险波动，提高食品安全风险治理难度。3 .智慧监管制度壁垒亟须破除，顶层设计有待完善。在政府与市场关系的处理方面，各级政府对市场和企业干预过多，忽视事中、事后的监管，更映少事前预警，主体自我管理的枳极性与主动性被压制。在政府与社会主体关系方面，虽然已经提出强化多元主体参与，但政府未利用互联网手段与市场、社会建立起良好的沟通和互动机制，导致多元参与协商机制失效。在技术与管理关系的处理上，虽提出了推进数字政府建设的目标，但运用互联网、大数据、人工智能等技术手段进行行政管理的制度规则仍不完善。二、解决方案从智慧监管技术优势发挥所需要的基础设施“硬要求”与制度“软环境”出发，加快监管业务流程重塑，破除智慧监管技术优势发挥的体制与机制性障碍，促进信息技术与食品安全监管深入融合，是完善食品安全智慧监管的核心思路。1.夯实农村数字基础，完善城乡食品安全智慧监管融合机制。完善城乡监管融合机制，实现城乡食品安全治理均等化。以农业农村大数据中心和重要农产品全产业链大数据建设为契机，以智慧食品产业链建设为抓手，引导云计算、大数据等技术资源向农村地区和食品行业源头流动，提升目前监管薄弱的生产、流通环节的监管效率，创新农村食品安全治理模式。强化城乡数字资源的共享互通、数据融合，加速农村社会共治模式的探索，提高监管效能。优化城乡食品安全风险交流制度，提升农村消费者的食品安全意识与食品安全管理能力。2 .推动数据资源合作共享，实现风险预警与信用管理协同。改变“一地一平台、一部门一系统”的分散建设模式，把分散在各级政府、不同业务部门以及企业的数据资源进行整合，建立互联互通、数据共享、业务协同、统一高效的云平台。完善信息共享机制，制定统一的食品安全数据标准，规范数据共享、交换和公开流程，实卷数据的高效、安全共享。实现风险信息与主体信用信息的有效整合，更准确进行风险预警。实施动态灵活的食品安全监管资源配置，在有效整合食品安全数据与监管资源、确保各职能部门有效运转的基础上，实现食品安全监管费源在农业、市场监管、卫生、海关等相关部门的动态灵活配置，实现风险管理的智能化。3 .完善顶层设计，探索多元主体参与的智慧监管机制。在强化政府主导作用的基础上，创新多元共治机制，提升智慧监管效能。填补智慧食品安全监管治理法律法规上的空白，出台个人信息保护细则法案，完善智慧监管配套的制度与标准体系建设，建立''以结果为导向”的智慧食品安全监管绩效评估机制。创新协商机制，实现政府、经营主体、消费主体的交流互评，克服政府监管主动、经营者被动，公民参与路径狭窄等问题，政府成为社会共治体制的“重塑者”。强化主体责任，推动食品质量安全信用体系建设，完善全国经营主体多维度信用数据库，综合合同审查,价格监督检查、广告监测、反垄断、产品抽检等行为轨迹记录，用大数据为食品企业“立体画像”和预测行为，有靶向性地开展风险全生命周期管理。1 .解决方案架构(arto图I解决方案架为图系统开发平台使用Hadoop大数据开发平台。HadoQP是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供成百上千TB的数据节点上运行的应用程序。HadooP能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业，将帮助用户持续提高用户体验。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。2 .关键技术(1) HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。(2) SpringMVCSPringMVC:属于SPringFrameWOrk的后续产品，已经融合在SpringWebF1.OW里面。Spring框架提供了构建Web应用程序的全功能MVC模块。(3) MyBatisMYBatis:是支持普通SQ1.查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XM1.或注解用于配置和原始映射，将接口和Java的POJOS(P1.ainO1.dJavaObjects,普通的JaVa对象)映射成数据库中的记录。(4) EchartsEChar1.s是一款基于Javascrip1.的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。(5) MySQ1.MySQ1.是一个关系型数据库管理系统，由瑞典MySQ1.AB公司开发，属于OraCIe旗下产品。MySQ1.是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQ1.是最好的RDBMS(Re1.ationa1.Da1.abaSeManagemCnISyStem,关系数据库管理系统)应用软件之一°MySQ1.是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQ1.所使用的SQ1.语言是用于访问数据库的最常用标准化语言。MySQ1.软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、思体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQ1.作为网站数据库。(6) Hivehive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQ1.查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQ1.查询功能；可以将SQ1.语句转换为MapReduce任务运行，通过自己的SQ1.查询分析需要的内容，这套SQ1.简称HiveSQ1.,使不熟悉mapreduce的用户可以很方便地利用SQ1.语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQ1.略有不同，但支持了绝大多数的语句如DD1.、DM1.以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在HadooP中的大规模数据集，并支持UDF(User-DefinedFUnCtiOn)、UDAF(USer-DefneSAggregateFunction)和UDTF(User-DefinedTab1.e-GeneratingFunction),也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。(7) HBASEHBase-HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBaSe技术可在廉价PCSerVer上搭建起大规模结构化存储集群。(8) ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是GOOgIe的ChUbby一个开源的实现，是HadooP和HbaSe的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。(9) F1.umeFIUme是CIoUdera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，F1.ume支持在日志系统中定制各类数据发送方，用于收集数据；同时，FIUme提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。三、开发范围1 .数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能障藏的问题；数据结构，数据内容可能出现的问题。2 .数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架f1.ume和kafka的定位是什么。我们在此需要将实时数据通过f1.ume采集到kafka然后供给给hbase消费。f1.ume：C1.OUdera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：Iinkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持rep1.ication）；因此我们常用的一种模型是：线上数据一>f1.ume>kafka>f1.ume（根据情景增弱该流程）>HD1.-S线上数据一>f1.ume>kafka>sparkstreaming实时流式处理消费存储模块流程图:图2消费存储模块流程图3 .数据分析我们的数据已经完整的采集到了HBaSe桀群中，这次我们需要对采集到的数据进行分析，统计出我们想要的结果。注意，在分析的过程中，我们不一定会采取一个业务指标对应一个mapreduce-job的方式，如果情景允许，我们会采取一个InaPredUCe分析多个业务指标的方式来进行任务。分析模块流程图:图3分析模块流程图4 .数据展示数据展示模块流程图:S-I数据展示模块流程图