ArcGIS空间大数据-深晓时空、洞知内涵.docx
2019EsriChinaDeveloperSummitArCGlS空间大数据-深晓时空、洞知内涵ESri中国信息技术有限公司刘春影ocriChinaO.IBEUINGTHCSCfiNCEOFWHERE大数据时代：转型的时代、变革的时代自然资源双评价人工智能分析计算数据整合洞察挖掘业务重组时空大数据平台智慧社会知识引擎量子计算连接赋能模型构建移动互联趋势预测数字挛生社会感知ArCGIS空间大数据发展历程Next2019,ArcGIS10.7zSPark框架，24+个分析工具，可扩展接口2018,ArcGIS10.6,SPark陵，17个分析工具2017zArcGIS10.5zSPark框架，14个分析工具ArcGISGeoAnaIyticsServer一矢量大数据分析产品针对大规模的具有空间位置信息、时间属性信息的矢量数据，以及表格数据进行分布式计算和处理的平台级产品。分布式计算能力数据处理能力洞察挖掘能力DATA»AnalyzePatterns>UseProximity»MenegeDete机器学习能力ArcGISGeoAnaIyticsServer产品架构ArCGIS平台门户层分布式计算集群源数据接入时空大数据存储ArcGISGeoAnaIyticsServer,支撑多源数据接入版.2019EsriOwnaDeveloperSummit接入形式GA接入分析数据源形式: Featureservice Bigdatafileshare数据源格式源捌居格式: CSV Shapefile Parquet ORC存储类型源数据存储类型： NFS、CIFS HDFSxHive AmazonS3 AzureData1.ake空间大数据分析，重点在源数据接入、存储、和管理大数据资源池大数据分析资源池构建空间数据组织管理：基于规则的抽取、转换、加载基于需求的汇聚、融合、更新多业务农业多结构电力三±ishpfileCSV/TSV/TXTDBMS空间数据流转，以业务为导向大数据资源池中的数据，经过一系列分析计算，其结果可以写回到大数据资源池数据抽取源数据:现规管经状划控济据据据据数数数数以实际项目需求为例,谈数据流转GA10.7新增：分析结果输出到文件分析结果，写回大数据资源池，支撑多维应用大数据分析工具ArcGISGeoAnaIyticsServer 空间叠加(Intersect,erase.Unionsidentity,sd) 裁剪数据 边界融合 数据合并数据汇总 点聚合 要素连接 轨迹追踪 属性汇总 范围内汇总 构建多值段网格 描述数据集空间赋能 从多变量网格丰富数据位置查找 查找相似位置 事件税则 地理编码模式分析 密度计算 热点分析 空间聚类 基于森林的分类回归 广义线性回归邻近分析 创建缓冲区数据管理 拷贝数据 字段计算 追加数据数据处理.叠加分析.事件检测.机器学习.洞察预测.分布式计算算法优化E性能软件架构参数调优配置策略大数据分析性能影响因子算力数据全国土地利用数据与管制区数据叠加分析2019EsriChinaDeveloperSummit2016年全国地类图斑数据全国乡级建设用地管制区1.5亿5500万计算类型算法运算量耗时普通分布式计算笛卡尔积千万亿次难以一次性完成8,250,000,000,000,000ArcGlSGA10.7分布式索引和数据万亿次分块技术小时级2019EsriChinaDeveloperSummitArcGIS10.7大数据，相较于传统，性能提升90%以上2016年全国地类图斑数据Intersect全国乡级建设用地管制区单机，16core、64G内存5500万15.5小时4.2小时10.6.11073节点，40core.256G内存、千兆结果数据量3.68彳乙3节点,40core.256G内存、千兆ArCGlS空间大数据应用场景全面支撑国土空间规划业务场景，连接分析工具与业务需求2019EsriChinaDeveloperSummit国土空间差异性分析 需求：空间变化、属蜂化、未变化均输出 技术点：几何对裁双属性叠加 "T具:UnionArcGISGA10.7Union2015年土地利用现状数据2016年土地利用现状数据发生变化之数据，同时保留未变化的部分Union分析：空间变化、属性变化、未变化均输出ArCGlS空间大数据应用场景二:支撑电力巡检时空大数据分析2019EsriChinaDeveloperSummit电力巡检时空大数据分析 需求：历时五年电力巡检数据，分析出何地、何时，A、B、C三相电之和超过额定电流负载？ 技术点：参数指标设定、时空规律挖掘 工M：DetectIncidents（事件检测工M）.-OO""O-模型构建：电力巡检时空大数据分析变压器位置要素（模拟）电流电压数据表/Join1.ayer配电变压器表业务数据OutputClassTarget1.ayer参数设置、Target1.ayerJoinFeatures参数设置JoinFeaturesJoin1.ayer三项电流相力J$feature"abc_current_plus">$feature"co1.6"DetectIncidentsOutputClass检测结果开始条件：”三项电流相加值>额定低压电流OutputTable分析工具T9业务场景HomeqMyMap事件检测分析过程NewMapHuangshiEDetailsAdd8SBasemap凹AnalysisHSaveShare&PrmtI旨Measure由BookmarksAbout国Content三1.egendContentsJoinFeaturestocopygzddytopdbyq5toCa1.fordldyCnStandardtlme12及国/V.0'Ic*I-动Chin!eSvetPurpi.shBlueWorldStreetMap(Night)BasemapJoinFeaturestoCOPyqZdldVtopdbyq5tocalfordldyCnstandardtime12(Features:2000,Selected:0)三×Xglobalidlcol_6tgidycol_3CO1.4globalid2Co1.7.113.4581F78OA1-C612-EC70-F8E2-9F61498F6A46)1,443.00440113ZAC001018726211223.(M10.5/0.4(236F5474-C79F-0340-3AF9-79A0F3991B67)1,000.0：I113.166ADE5BC5-2B3B-0A48-2531-437AB66D25F51,154.00440114ZACo(Hol8725187623.310/0.4(06FCFB2B-7A91-O87B-E1CD-FA557D8340E4)800.00ArCGlS空间大数据应用场景三:空间大数据+AI,开启地理赋能新篇章ArCGlS大数据中的机器学习2019EsriChinaDeveloperSummitGA中机器学习方法基于随机森林的分类和回归监督学习用于预测预测内容广义线性回归点聚类分类回归聚类非监督学习由已知预测未知由局部预测整体查找规律、训练模型、预测未知2020年房价?场景：预测2020年北京市房价2018年北京房价数据含交易价2018年影响房价数据预测学校、医院、地铁站、商圈、公共设施2020年规划数据学校、医院、地铁站、商圈、公共设施现有数据房价预测模型预测结果演示：ArCGlS空间大娄媚基于期里赋能的房价预测TopVariableofImportanceVariableImportance房屋类.花园式住宅008房屋类学区房0.11房屋类.经济恒用房ert综合医院5km.695.38804425330570.01交通设施8km.140.05137542376960.02W三2K6km.83.980916023261610.02交通设施8km.118.002865787831230.01总层数0.08餐频务4km.245.972119837235880.03交通设施8km.139.462114290909570.01钿医院5km.4772.7141551829530.02科叱化5km.30.4300409762805340.01科教文化5km.230.470639054977620.01在北京，学区是影响房价最大的因素ArCGIS空间大数据开发扩展能力2019EsriDeveloperSUrrnTtArCGlS大数据开发扩展能力二次开发自定义开发-2>RestAPIPythonAPIRunpythonScriptRunPythonScriptSv*cmGoAn*MicsTheRunPythonScnpttaskexecutesPyiintermediateresultstoadatastore.YoucForexample,supposethateachweekyoumultipleGeoAnalyticsToolstocreateanrscnpcrttworkflownPyttX)HandexecWhenyouuseRunPythonScript,tePytrreturnedasjobmessages.SomePythonrtf%atdistributesanalysisforGeoAnaltcs'AgcaIytxcmoduleisavailableandRunPythonScript.jTbinteractdrcttywithSparkintheRun，collectionofdistributedanalysistoolsfor<ForexamplesdemonstratinghowtousetlWhenusingtt>e9only1c011dpyp.forthechainingtogetherofmuttplegoiReadingandwritinglayersnPySPark.<-'C不安全http$：/gl$039.e$ri.k>cal/arcgis/re$t/service5/System/GeoAnalyticsTooB/GPSefver/RunPyttMXiScript/submitJobArcGISRESTServicMDirectoryHK>.fVH>%y.tn>(,-<>Afidlyt<%T<>s(GPSvrvrr)>RiioPyth<>S<npt>'.ubmitJobSubmitJob(RunPythonScript)PythonScript:(GpSEng)apontiaCreateanArcexpressiontodeterminechanges1.nvaluefxoaFalsetoTruexp*vardl»$track.fld(*dly*.hxrtoxy(-2)returndlylOj«VFilffA"dl()-VTru*RunI>etctIncidentstofindallburlocationswheredelaystatusharchangedfr<*FalretoTruedelay.inc<fent3-eeaanalyt13A山工xt-inGdentsWUIayexlayocs(0tradc.felds-UJ.XtartwCcnditicnwexpressionexp.(mt(ut.aodfr*Incder1)»UthrrultmtDmaExam"rtxrttotheFindHocoutdelyhatoot=1acn1.ytxc，md_bot_goc上1W=d¢l«y.incxdentf.EnWme三0.1birK.sue.unit三les*.nechborhoodw<hstanceI.neighbothood.disttnce.iiut*Kls*.txjnp-interval1.ti-sxp-mtrvalut"*DQSv)VritetheFUldHotSpotsresulttothegpKxotdmo工式bi(d三tartoredeld匕*,mR备4,d£Qgfi熟(口").saw(*Bus-Del/HS_13*.fooat(tae.tina()Inputlayers:(GPMultiValue:GPRecordSet)OContext:(GPString)Options:OutputSpatialReference:ProcessSpatialReference:jReturnZ:RetumM:TrueFalseTrueFalseRunpythonScript.GA10.7新增.通过ReSt服务应用.以PythOn脚本提交-GA内部工具串联-自定义扩展新工具HomeP叠加分析示例,Q)Details*Add§8BasemJ需求：计算出每个裁剪地块范围内的、不同地类图斑类型、及分类面积汇总AboutQContent三1.egendBoshangReservoirContents裁剪数据lSW1Ec*I-0地类图斑QWorldStreetMaP(Night)BasemapArcGIS10.7RunPythonscript:地类图斑裁剪数据中间结果写入内存一次性输出RunPythOnSCriPt分析应用普通大数据分析:地类图斑裁剪数据中间结果发服务性能较低演示：基于runPythonSeriPt的流程化分析ArCGlS大甥居，开凝自力小结 更优的时间效率，中间结果写入内存 更灵活的模型构建能力 整合PySPark分析库IupyterOmlcJ也XGBoostONDAtMnPYTbRCHpandasfSSC簟°QKeras,软*que-smatpltlib"'.NumPyCOpenCV女.2019EsnChinaDeveloperSummit可自定义扩展开发全面支撑多源业务应用一一ArCGlS空间大数据，深晓时空 全面接入主流数据源 提供多种即拿即用的分析工具 全面集成机器学习能力2019Es11ChinaDeveloperSummitTHESCIENCEOFWHERE
