社会治理大数据治理平台建设方案.docx

《社会治理大数据治理平台建设方案.docx》由会员分享，可在线阅读，更多相关《社会治理大数据治理平台建设方案.docx（17页珍藏版）》请在课桌文档上搜索。

1、社会治理大数据治理平台建设方案（1）数据存储与分析计算平台3（2）数据采集汇聚平台4（3）数据基础治理平台4（4）数据服务平台4（5）标准地址数据管理平台5一、建设目标随着全社会信息量爆炸式增长，数量巨大、来源分散、格式多样的大数据对社会治理能力提出了新的挑战，社会治理在大数据汇聚、使用面临着诸多问题，首先，全社会信息量爆炸式增长，城市发展积累了很多数据，但没有深入应用；其次，数据虽多，但大都分散在各个政府部门，没有完全整合共享、存在数据不标准、不规范、数据质量差、数据不能直接使用等问题。与此同时，大数据为社会治理能力的提升也带来了发展机遇，通过数据中台建设让海量、动态、多样的数据进行有效治理

2、、开发、融合成为有价值的社会治理数据资产，通过数据赋能推动转变管理理念和治理模式，进而加快治理体系和治理能力现代化，进一步提高市域社会治理系统化、社会化、精细化、法治化、智能化水平建设人人有责、人人尽责、人人享有的社会治理共同体，支撑打造“用数据对话、用数据决策、用数据服务、用数据创新”的现代化治理模式。为持续提升市域社会治理能力现代化水平，完善社会治理体系，支撑“用数据对话、用数据决策、用数据服务、用数据创新”的现代化社会治理模式，实现“一网整合社会治理数据、网格社会治理基础数据规范”的目标，基于云计算、大数据等新一代信息技术手段，通过数据汇聚、数据标准、数据质量、数据集成、数据清洗、数据转

3、换、数据服务等，建设域社会治理大数据平台，夯实市域社会治理数字底座，打造基层社会治理新格局。市域社会治理大数据平台包含数据存储与分析计算平台、数据采集汇聚平台、数据基础治理平台、数据服务平台、标准地址数据管理平台。(I)数据存储与分析计算平台数据存储与分析平台由大数据基础平台和数据仓库组成，其中大数据基础平台通过运行HadoopSpark、HBaseKafkaStorm等大数据组件，提供海量的数据信息存储与分析处理能力；数据仓库采用大规模并行处理(MPP)架构，支持行存储和列存储，提供PB级别数据量的处理能力，为数据治理和数据库建设提供MPP数据存储分析能力。(2)数据采集汇聚平台数据采集汇聚

4、平台将社会治理等各类不同来源的结构化数据和非结构化数据资源汇聚并存储到统一的大数据平台中，通过数据提取、数据清洗、数据转换、数据关联、数据集成等功能支撑数据开发过程更规范、更高效，数据采集汇聚平台规范建库流程，缩短建库周期，提升数据开发效率；并通过多种融合策略，获得高质量的融合数据，提升市社会治理相关对内治理和对外服务能力.(3)数据基础治理平台数据基础治理平台从数据产生、采集、存储、处理、应用、开放等的整个生命周期，每个阶段都全程管理和安全保障，从而可以有效监控和管理跨层级、跨地域、跨部门的业务数据在各个生命周期阶段的流转情况，保证特定的数据只能被特定用户访问和应用于特定的业务场景，并为客观

5、准确地评价数据的价值提供依据，保障数据质量和数据安全，确保数据资源在授权范围内“可见、可得、可用、可溯源、可审计”从而提高数据的应用效率。(4)数据服务平台按照应用场景需求进行相关数据服务接口的封装、注册、发布，将数据转化为可调用的服务能力，支撑各类应用场景的数据需求。实现对外提供数据的统一管理、统一授权、统一共享。通过服务接口方式将不同技术架构的、不同结构的服务高效地集成起来，以统一的数据服务能力推动社会治理数据共享和开放。(5)标准地址数据管理平台标准地址数据管理实现对全市房屋、楼栋、社区等地址来源的地址数据进行汇聚接入，然后通过对这些地址数据进行地址切分、地址标注、地名实体识别、地址补全

6、、地址标准化、地址验证、地址匹配一系列规范化处理，形成全市标准地址库。二、建设清单序号名称数量单位规格要求软件部分1数据存储与分析计算平台1套提供数据的存储及分析计算能力。2数据采集汇聚平台1套提供数据采集管理、数据集成管理、可视化编排调度组件、数据填报。3数据基础治理平台1套提供数据治理全景图、数据治理工作台、数据标准管理、数据质量管理。4数据服务平台1套提供服务管理、服务监控、服务审批、服务开发。5标准地址数据管理平台1套提供标准地址数据处理、标准地址数据服务、标准地址维护管理。三、建设内容序号模块名称功能名称功能要求1数据存储与分析计算平台大数据基础分析平台所提供的大数据软件需拥有国内自

7、主知识产权，须附相关发明专利证明；具有自主研发能力，对产品代码自主可控，保障后续产品的连续性；支持异构集群部署，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。大数据平台的流处理组件支持与多种外部数据源集成,至少包括:Kafka、HDFS、HBaSe或JDBC/RDBMS服务，便于实现涉及多种数据源的业务。支持Hive元数据存储降压,突破元数据量级瓶颈，管理亿级分区和百万级表的能力；支持HBase组件的二级索引，支持为列值添加索引，提供使用原生的Hbase接口的高性能基于列过滤查询的能力。提供图形化的集群健康巡检工具，能够检

8、查集群相关节点、服务的健康状态，提前发现集群中潜在的问题，并生成健康检查报告,方便快速了解系统的健康状况。支持基于时间的服务资源动态调整，即为了保障业务的SLA,同时充分利用系统资源，需要配置不同服务在不同时间段内使用资源的不同比例，来动态自动调整各服务在不同时间段可用系统资源。100%兼容开源组件接口，支持与开源生态对接，支持普通版本的大数据迁移场景，可支撑对接测试。支持HDFSWarPPer特性，存算分离场景下，兼容HDFS接口访问方式。支持所有组件管理节点具备HA高可靠能力。大数据平台的组件进程故障后支持自动重启恢复，无需手动干预。支持数据的快速备份和恢复，可以将元数据存储到其他服务器，

9、支持多种备份目的地；支持系统级安全加固，支持KerberOS认证，支持认证鉴权，支持表和列加密以及数据加密，支持全系统的审计能力。支持标准加密算法AES、国密算法SM4,并支持自定义加密算法。支持在线扩容，扩容过程中数据持续可查询（包括正在数据重分布的表）；数据重分布阶段支持主流DDL（Drop/Truncate/Altertable）。支持多租户管理：租户间CPU、内存、IO等资源隔离，相互不干扰。支持负载均衡：主节点/协调节点为多活设计，具有负载均衡能力或者通过第三方软硬件（如LVS、F5等）可实现负载均衡。支持ANSI/ISO标准的SQL92SQL99和SQL2003语法；兼容MySQL

10、、TeradataOraCIe常用语法,可以在创建库表时指定兼容模式。提供TeradataOracIeMysql语法转换工具，减少业务迁移代价。支持一套集群按服务器为单位划分为多个逻辑子集群，实现逻辑子集群间物理资源隔离，计算弹性共享，数据授权访问，逻辑子集群内支持资源水平切分的多租户机制。具备自适应压缩算法，支持3种及以上压缩级别，根据压缩级别不同，压缩比可达广20倍，压缩数据对用户透明，无需用户解压直接访问。支持集群级物理备份，支持全量、增量的备份与恢复，支持Schema级细粒度备份和表级恢复。支持服务端和客户端之间通过SSL连接进行数据传输；应用进行JDBC、ODBC接口连接时，可通过配

11、置启用SSL,使数据加密传输。支持用户设置私有表，私有表数据只有所属用户可见，管理员及其他用户均不可见；内置数据脱敏，支持自定义脱敏规则。2数据采集汇聚平台数据采集数据源分类支持OraCIe、MysqlMPPDBredisElasticSearch、KingbaseES、KiFigbaseAnalyticsDBPostgresqlSQLSerVer、GBase、GaussDBlOO、MppDB(GaussDB200)、HiveKerberosJdbc、HWHBaseKerberosJdbc、HWHBaseKerberosJdbcFTP；数据采集支持与大数据平台对接，大数据平台包含华为MRS华为

12、DWS华为LIBRA、阿里EMR、GREENPLUM腾讯TBASE等；产品需提供数据接入采集相关字样的计算机软件著作权登记证书产品需提供数据汇聚平台相关字样的计算机软件著作权登记证书数据源管理支持新增、删除、修改、连接测试以及启用/禁用的功能。数据源查询支持分页展示，展示内容包含数据源名称、数据源分类、用户名、IP、端口、可见范围、所属部门、应用场景、状态等。支持API数据源配置。配置包含新增API数据源、配置清求参数两步，其中新增API数据源包含数据源名称、URL、格式类型、入参项导入方式（包含手动新增、json文件两个），配置清求参数，配置清求参数支持设置是否分页、返回字段信息。系统通过支

13、持批（全）量采集、增量采集、API数据采集、数据实时采集实现对人口数据采集、企业法人数据采集、城市部件数据采集、事件数据采集功能的支持。数据集成提供融合流程指引，支持提供图形化流程导引方式引导实施人员依流程步骤简单、快捷完成数据接入、归集、清洗、融合、建库全流程，流程导引节点包含环境配置、系统初始化、模型&规则配置、数据集成管理、流程调度监控等5步骤，每个步骤又包含子步骤，处环境配置外每个子步骤支持指向具体功能菜单页面；持清洗融合规则，清洗融合规则包含标准代码集管理、源系统代码集管理、代码映射管理、函数管理、算法包管理；其中标准代码集管理、源系统代码集管理、代码映射管理、函数管理、算法包管理包

14、括新增、修改、删除、筛选功能；提供系统初始化功能，支持快速初始化数据清洗融合所用到的元数据、清洗规则和数据模型和一键式部署数据集成环境。支持数据融合策略，数据融合策略支持一数一源、来源优先级、数据新鲜度、最大值、最小值数据融合策略；提供标准列功能，支持添加标准列，已新增标准列支持修改、上移、下移，已新增标准列支持规则配置（代码映射、算法包管理、混合规则）；支持表关联其他表关联设置功能（添加、删除、筛选），关联后支持对每个关联源表进行字段映射、SQL配置、业务时间配置。提供数据集成监控功能，包含任务调度配置、任务调度监控、任务告警查询、告警接收管理、任务数据分析和任务数据API等功能实现查询各层

15、数据集成任务执行状态、任务节点日志以及执行详情日志，通过日志快速找到任务异常原因支持字段映射，映射支持手动匹配、自动匹配、列映射导入、排列等；数据填报系统包含总览、结构化资源管理、非结构化资源管理、结构化数据上报、非结构化数据上报五部分；结构化资源管理包含资源管理、表单管理、模板管理、上报授权等；结构化数据上报包含数据上报、数据审核、数据查看、上报记录等。结构化资源管支持表单管理功能，表单管理包含新增、编辑、删除、校验规则设置、数据选项配置、创建模板等子功能；结构化资源管理的查询服务功能支持查询单位授权的目录资源数据。结构化资源的模板管理功能支持模板管理支持模板列表展示、筛选、删除等子功能，也

16、支持模板下载按照表单目录结构生成模板，各业务单位可以通过下载EXCEL模板，通过录入模板数据，进行数据上报。结构化数据上报支持数据上报管理，数据上报分为数据填报、数据导入；数据填报：以表单录入的方式，进行数据填报，支持选择上报部门、期别、业务数据标识（增量、全量）、上报说明；页面支持根据模板新增行、删除行；数据上报支持上报数据校验，校验通过进行页面提示。数据导入：支持选择目标资源，将Excel文档数据导入目标资源，并记录导入日志。结构化数据上报支持上报记录功能，上报记录展示已上报数据源据资源，展示资源名称、所属部门、上报条数、上报状态、审核状态、提交时间、数据校验等字段，支持提交审核；产品需提

17、供数据填报相关字样的计算机软件著作权登记证书非结构化资源管理包含资源管理、上报授权等；非结构化数据上报包含数据上报、数据审核、数据查看、上报记录；数据可视化编排组件数据可视化编排调度组件通过可视化编排界面，将各个任务的依赖关系呈现出来，并提供基于大数据集群的调度能力，最大程度的增强可靠性，同时对各个调度任务提供监控与执行日志，帮助大数据开发人员进行问题定位于分析。支持工作流配置、流程调度配置。产品需提供数据治理可视化相关字样的计算机软件著作权登记证书3数据基础治理平台数据质量管理支持质量治理总览功能，包含数据质量治理指引，数据质量评估统计、质量工单统计、部门数据质量排名；支持数据智能探查功能，

18、数据智能探查包基础质量探查、对比分析、智能分期、规则识别；基础质量探查包含基础分析、频率分析、结构分析；对比分析支持选择源表与目标表进行对比连线；规则识别支持函数依赖、字典规则、值域分析三种类型识别任务进行数据表规则自动发掘，通过执行功能进行执行识别任务，支持规则报告查看。支持质量稽查管理，质量稽查管理包含规则管理、规则报告、质量稽查等功能模块规则管理包含质量规则管理、质量规则分类两类数据质量规则管理支持SQL规则、正则规则、值域规则、算法包、完整规则等新增、修改、删除、导入、导出功能；质量规则分类支持重复性、关联性、正确性、完全性、一致性、规范性等规则的新增、修改、删除功能；规则报告支持展示

19、规则数据量、规则分类统计、规则变化趋势、规则覆盖率展示。数据质量稽查支持关联规则对库表进行重复性、关联性、正确性、完全性、一致性、规范性检测进行数据质量评估，并生成质量稽查报告（数据质量报告），在数据质量稽查报告页面支持查看数据质量评估、质量问题详情、质量问题血缘追溯、质量问题影响分析。支持质量问题管理、质量问题问题分析，质量问题管理实现自动生成工单，将有质量问题的数据通过以工单返回给业务部门进行处理，支持工单全程跟踪。产品需提供数据质量管理相关字样的计算机软件著作权登记证书产品需提供数据治理相关字样的计算机软件著作权登记证书数据标准管理支持通过标准规则制定、标准映射管理进行标准符合性检测对数

20、据规范性进行检查，并出具标准测试报告。标准规则支持结构标准、代码标准、编码标准制定，标准规则支持正则规则、算法包、值域规则。标准映射支持新增、编辑、删除、筛选、导出，标准映射新增支持对字段手动选择参照标准、智能推荐选择参照标准；标准符合性检测支持新增、编辑、删除、筛选、执行、暂停；支持查看标准检测报告，标准符合性测试报告包含测试任务概况、测试任务详细分析；数据标准系统支持数据元标准管理、标准版本管理、数据标准地图、标准检索管理、标准术语管理、标准代码管理、标准目录管理、标准变更管理等功能实现数据标准规范化管理。产品需提供数据标准管理相关字样的计算机软件著作权登记证书支持数据标准总览，包含数据标

21、准治理指引、数据标准变更统计、标准符合率、数据元标准统计。数据治理全景图通过数据治理可视化指标呈现，全局掌控数据治理态势。需从数据源接入、治理准备、数据治理、治理服务进行可视化展示。数据治理工作台数据治理工作台支持按库、按部门、按模型进行数据资源分类，按库分类提供基本信息查看、标准测试、质量稽查、标准比对、安全探查，元数据采集、业务全景等功能。按模型分类提供分层展示，每层提供对数据表进行业务信息、数据字典、血缘分析、列分析、符合性测试、质量稽查、对比分析等功能。4数据服务平台服务管理服务管理提供封装申请、注册管理、消费管理、消费IP管理、服务实例等功能产品需提供数据服务管理相关字样的计算机软件

22、著作权登记证书服务监控服务监控提供访问监控、服务频率统计、服务状况、服务监控等功能服务审批服务审批提供含注册审批、封装审批、消费审批等功能。5标准地址数据标准地址数据地址加工及标准化处理是为提升地址的数据质量而采用的相关系列操作集，具体流程包括：地名切分、地名标注、地名实体识别、地址补全和标管理平台处理系统准化、地址验证和地址匹配，产品需提供地址管理相关字样的计算机软件著作权登记证书标准地址数据服务系统根据地址搜索出与之对应的标准详细地址，并在GIS系统上展示。根据用户在地址输入框里提供的地址关键字，系统根据关键字给出地址建议信息。建议的地址顺序根据匹配精度来排序的。提供地址和对应编码之间相互

23、转化的服务。根据用户输入地址系统根据用户输入简化地址系统进行自动补全。可以实现各类地址及编码规范之间的转换对同一实体对应的多种地址描述进行归一化处理。支持地址服务API,及相应使用文档，提供地址填选插件，供各类应用使用，进行地址调用，实现让用户选地址。供各全市各级政府业务系统和民生便民应用调用。产品需提供服务支撑相关字样的计算机软件著作权登记证书标准地址维护管理系统标准地址管理维护支持标准地址管理功能，包括新增、修改、删除标准地。社区管理维护支持社区管理功能，包括新增、修改、删除社区。小区管理维护支持小区管理功能，包括新增、修改、删除小区。支持通过社区方式，查看社区下面的小区。也支持通过点击小区名称，查看该小区所有的楼栋。道路管理维护支持道路管理功能，包括新增、修改、删除道路。楼栋管理维护支持对楼栋数据的管理，包括新增、修改、删除楼栋。支持以社区的方式查看楼栋数据。也支持通过点击楼栋名称，来级联查看楼栋下面所有的房屋数据。地址更新支持有新大厦、小区出现，旧的地址也会有更改，相应的就会出现新地址。同义词识别维护系统能识别同一地址的别名（如市政府和政府），在后期的地址维护系统中加入对同义词的管理功能。