NL2SQL 智能对话数据库初探(智能对话在打通人与数据查询壁垒上的探索).docx

《NL2SQL 智能对话数据库初探(智能对话在打通人与数据查询壁垒上的探索).docx》由会员分享，可在线阅读，更多相关《NL2SQL 智能对话数据库初探(智能对话在打通人与数据查询壁垒上的探索).docx（13页珍藏版）》请在课桌文档上搜索。

1、N1.2SQ1.智能对话数据库初探从数据治理的全生命周期来看，商业银行需要具备数据资产管理，高效、高质量的数据加工以及数据创新运用三个方面的核心能力。商业银行在数据存储的选择上呈现多元化，但大多数业务知识和数据仍以关系型数据库的形式存储。目前业务人员只能通过固定的界面接口查询使用数据，数据查询过程繁琐且效率低下，极大地限定了业务人员按需查询数据库的场景和查询界限。在此背景下，业界在探索一种新的人机交互方式，即通过N1.2SQ1.(Natural1.anguageToSQ1.)技术，将业务人员的查询意图快速准确地转换为可执行的SQ1.查询语句，省去人工构造SQ1.语句的过程，从而大幅提升数据查询

2、效率。新兴技术N1.2SQ1.解读1 .什么是N1.2SQ1.N1.2SQ1.是将用户自然语言转化成数据库可执行的SQ1.,完成人与关系数据库交互的实时数据查询。其目的是让用户无需掌握专业数据库编程技能也可以灵活快速地操作数据，以降低数据库使用门槛。从技术范畴来看，N1.2SQ1.本质是将自然语言问句转换为计算机可读懂、可运行、符合计算机规则的语义表示，需要计算机理解自然语言，并生成准确表达语句语义的可执行程序式语言。其定位属于语义分析的子领域,相关技术还有N1.2Bash.N1.2Python.N1.2JavaN1.2SQ1.的研究成果后续可以为语义分析相关领域的研究提供借鉴思路。2 .N1

3、.2SQ1.的关键技术N1.2SQ1.属于N1.P的子领域，相较其他自然语言处理方向的实现方式，在内部实现的整体结构上大同小异，而在技术实现的具体应用有所不同。N1.2SQ1.实现基于N1.P处理流程，在技术实现层面需要从用户语言意图到SQ1.生成的核心细节考虑。从语言灵活性和泛化能力考虑，大多数研究倾向于基于有监督的机器学习处理方式。N1.2SQ1.处理流程综合应用了人机交互、自然语言理解、机器学习、知识工程等多个领域知识，如图1所示。特征工程N1.2SQ1.流程图图1人机交互：多轮人机交互提升用户意图识别准确度。用户查询数据库提问通常没有明确的查询意图，只有一些假设和猜想，仅通过单轮对话难

4、以得出结论，需要通过“提问一反馈一再提问”的渐进式交互明确用户意图。自然语言理解：正确理解和解析用户表达的查询意图是N1.2SQ1.的核心能力。在人机交互过程中，模型需要具备基于上下文的自然语言理解能力，包括用户意图识别、语法检测、语义预测等，以达到充分理解用户查询意图的目的。机器学习：合理有效的机器学习算法是N1.2SQ1.的基础技术支撑。N1.2SQ1.利用机器学习算法结合领域知识，可以对表数据进行自主学习丰富知识结构，同时结合不同的用户在不同领域的问题，建立预测模型。再者，基于深度学习算法与规则的结合，模型具备泛化能力、可移植、可解释性的语义解析框架。知识工程：采用知识工程技术手段，实现

5、自然语言到数据库的有效预测。基于多种人工智能技术融合，知识工程通过知识获取、知识验证、知识使用等手段,学习表结构相关的领域知识，建立功能完善的N1.2SQ1.知识模型，实现自然语言到符合用户意图SQ1.的准确预测,最终以合理的方式将查询结果返回给用户。创新数据运用模式初探1.N1.2SQ1.应用现状N1.2SQ1.目前主要处于研究阶段，商用案例较少，且大多数的研究是基于英文数据集开展。2019年首届中文N1.2SQ1.挑战赛最高成绩已达92%以上，刷新了中文N1.2SQ1.的业界记录(见图2所示)。中文N1.2SQ1.挑战赛测试准确度：92.19%数据特点：(1)单表单列杳询；(2)聚合操作C

6、MAX丁MN,COUNT,SUM,AVG);条件连接(AND);(4)条件比较(=丁乂V)测试准确度：92.2%数据特点：(1)单衣单列查询；(2)聚合操作(MAX丁MIN)COUNT；,SUM,AVG);(3)条件连接CAND%(4)条件比较(E,少SPider挑成测试准确度：61.9%数据特点：(1)跨域多表多列奇闻，复杂子查询;聚合操作(MA)C,MN,COUNT,SM,AVG,GROUP,HAVING,1.IMIT);外表连接口。irV,on1.as)条件连接(AND；。);(4)ftt(,not,between,，=:W汰iTableQuestions、ATIS等，各个数据集都有各自

7、的特点，下面简单介绍下这几个数据集。WH6SQ1.：该数据集是Salesforce在2017年提出的大型标注n12sql数据集，也是目前规模最大的nl2sql数据集。它包含了24,241张表，80,645条自然语言问句及相应的SQ1.语句。目前学术界的预测准确率可达91.8%oSpider：Spider数据集是耶鲁大学于2018年新提出的一个较大规模的n!2sql数据集。该数据集包含了10181条自然语言问句，分布在200个独立数据库中的5,693条SQ1.,内容覆盖了138个不同的领域。虽然在数据数量上不如WikiSQ1.,但SPider引入了更多的SQ1.用法，例如GroUPBy、Orde

8、rByHaving等高阶操作，甚至需要Join不同表，更贴近真实场景，所以难度也更大。目前准确率最高只有54.7%。WikiTableQuestions:该数据集是斯坦福大学于2015年提出的一个针对维基百科中那些半结构化表格问答的数据集，内部包含22,033条真实问句以及2,108张表格。由于数据的来源是维基百科，因此表格中的数据是真实且没有经过归一化的,一个CeII内可能包含多个实体或含义，比如Beijing,ChinaJ或200kmJ;同时，为了很好地泛化到其它领域的数据，该数据集测试集中的表格主题和实体之间的关系都是在训练集中没有见到过的。TheAirTravellnformation

9、System(ATIS):ATIS是一个年代较为久远的经典数据集，由德克萨斯仪器公司在1990年提出。该数据集获取自关系型数据库OfficialAirIineGuideCOAG,1990),包含27张表以及不到2,000次的问询，每次问询平均7轮，93%的情况下需要联合3张以上的表才能得到答案，问询的内容涵盖了航班、费用、城市、地面服务等信息。中文nl2sql数据集中文数据集目前只有追一科技在天池发布的比赛数据集，包括4万条有标签数据作为训练集，1万条无标签数据作为测试集。目前比赛第一名的成绩，准确率达到了92%o3、基于深度学习的nl2sql数据格式业务问题对应SQ1.数据结构格式SQ1.字

10、典SQ1.表相关数据如上图所示，构建基于深度学习的nl2sql训练数据，主要包括三部分：业务问题对应的SQ1.信息，SQ1.字典，SQ1.表数据。下面分别介绍相应的数据格式。3.1 业务问题对应的的SQ1.首先来看一下SQ1.相关的符号字典叩_41_(1记曰0:“,1:“AVG2MAX”3MIN*4:COUNT,5:“SUM”,6:“不被select#聚合函数符号ConkSq1.diCt=2:“or”)#条件逻辑关系基于花百字典的描述格式为“table_idt”alb2c3d4”,#相应表格的idquestion:自然语言问句“sql”:#真实SQ1.se,lSQ1.选择的列“agg”:4,#

11、选择的列相应的聚合函数,O代表无ncond_conn_op:l,#条件之间的关系”conds”：U622016M7,2；融资收购其他资产R#其中6,2,2016分别表示条件列，条件符号类型，条件值下面看一个实际案例：(1)业务问题为净资产收益率达到25以上或者季度每股盈余达到2以上的有哪些证券？(2)对应的SQ1.为selectcol_1fromTable_43b0a2f31d711Ie9b86df40f24344a08wherecol_3,25orco1.42u(3)描述格式“table_id”:“43b0a2f3ld7111e9b86df40f24344a08,question1:资产收益

12、率达到25以上晟者季度每股盈余达到2以上的有哪些证券?”，“sql”:“agg:O,#不做聚合ConC1.COnn_op”:2,#选择条件是或选择第1列列Ond5”:3,0,“25”,#第3列大于254,0,”2”#第4列大于23.2SQ1.相关表信息(1)如下表所示，为上述SQ1.业务问题对应的表,2col_3COiJ,5I2O7S.SZ沙旃股份28.960.9941.636OO3O7.SHE做5兴.390.0599.066000MSH包旧股份5.710.0529.51O7O9.SZ同旧版份4.820.1521.8SOOoTTB.SN颍兴HHr8.50.3114.746015.SH庆汨铁11

13、.890.1413.12000959.SZ,旧股份10.10.429.786022SM山东的铁15.210.198.940751.SZ本讷板村9.720.438.916O19.SH宝眄版份13.960.928.356OO8O8.SH马iH份22.710.66.91000898.SZ额i冈酸份14.10.856.96231.SH及旃般伤22.160.*76.766O0581.SM八27.640.686.246Ol3.SH53.91.365.876S07.SH方大特询75.11.945.826126.SH杭SR版份14.650.815.58211O.SZ三，哂光0.673.315.146782.S

14、M破旧股份30.861.165.126282.SM南汨股份31.350.834.64O717.SZ即眄松山77.411.334.53OOO932.SZ华55眄铁47.891.774.46569.SH34.630.81.1(2)SQ1.相关表的格式rows:”002075必,”沙钢股份”,28.98,0.39,41.63,“600307.SH”,“酒钢宏兴”,6.39,0.05,39.06,600010.SH”,“包钢股份”,5.71,0.05,29.51,”00070952”,“河钢股份”,4.82,0.15,21.85,-000778.SZ”,“新兴铸管”,8.5,0.31,14.74,“6

15、01005.SH,“重庆钢铁”,11.89,0.14,13.12,000959.SZ”,“首钢股份”,10.1,0.42,9.78,”600022.SH”,“山东钢铁”5.21,0.19,8.94,header乜证券代码证券简称JROE(TTM)TEPS(TTM)JPE(对应2018.10.31收盘价收丁43b0a2f3ld7111e9b86df40f24344a08,)对应的SQ1.格式为：SE1.ECTaggCO1.UMN-NAME1FROMTAB1.E_NAMEWHERECO1.UMb1.NAME2opVA1.UElconnCO1.UMN_NAME3opVA1.UE2其中agg为agg_

16、sql_dict中字典中的值，OP为op_sq1.diCt字典中的值，conn为conn_sql_dict中的值4、基于bert的nl2sql模型4.1 N1.2SQ1.实现简述对于M2sql的各个系统，在内部实现上，整体结构都大同小异，只是技术不同罢了。下图描述了从QUeStion到SQ1.生成的核心细节，简单来说，整个系统将n12sql分成了SQ1.几个子句的识别，包括SE1.ECTclauseWHER氏IaUSe,当然可能还看groupby、Iimit等等。每个部分又会牵扯很多的细节，比如table识别，属性识别，适当的添加索引等等。图二是采用深度学习方法，通过encoder-decod

17、er的方式进行nl2sql的实现。Google的Analyza采用的则是语义解析和规则的方式构建的，PaPer中解释主要还是因为数据的问题。4.2 N1.2SQ1.深度模型简述本文介绍基于bert的n12sql模型，bert模型是GOOG1.E公司的AI团队于2018年10月11日发布，在机器阅读理解顶级水平测试SQUAD1.I中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同N1.P测试中创出最佳成绩，包括将G1.UE基准推至80.4%（绝对改进7.6%）,MUltiN1.l准确度达到86.7%（绝对改进率5.6%）等。bert是一个深层的基于Transformer结构模

18、型，其结构只包含了Transformer结构的encode部分，是一个预先经过大量语料训练的预训练模型，主要包括掩码损失函数与用于预测上下句之间是否有逻辑关系的损失函数。在基于预训练bert模型的基础上，我们可以针对特定场景fine-tune模型，比如文本分类，自然语言推理，文本序列标注，其模型结构如下图所示。本文实践基于追一科技在天池发布的开源中文比赛数据集，并应用科学空间博主苏剑林发表的基于Bert的ni2sql模型，并借鉴参考了n!2sql比赛第一名与第三名的相关技术方案及思路，以及tongguo等于2019年发表的论文ContentEnhancedBERT-basedText-to-S

19、Q1.GenerationK其整体技术方案为在bert模型的基础上进行fine-tune,使用四个子模型,主要包括select部分的预测,where部分的连接条件，where部分的运算符号，where部分的条件列与条件值，如图下图所示。在预训练bert作为整个结构的深层网络,将输入问题与相关表列的信息结构作为输入部分，本文将问题与表的结构分别用Q于H表示。下面对各个模块进行详细介绍。(1)bertembedding层对于输入问题信息与表结构信息需要转换成bert的tokens,对于输入的问题信息我们用wl,w2,.,wn来表示。对于输入的表的列信息用hl,h2,.,hn来表示，然后将两部分进行

20、concat作为bert的输入，用bert的编码格式表示如下：C1.Swl,w2,.,wnSEPC1.ShlSEP,输入bert后经过bert的embedding层转换成相应的embedding层编码作为bert的多头自注意力机制与feedforward等的输入，然后进入下游子任务进行fine-tune。(2)where部分的con操作对于where部分的con子任务，目标是预测where部分的条件连接符操作(and,or等)，用Q表示输入问题,即是第一个C1.S对应的向量可以认为是整个问题的句向量，用H表示表的列名，通过上述特征可以用来预测COndS的连接符(3分类问题)。则输入部分可以表示

21、如下P(WCQ,H)使用交叉燧损失函数loss_wc=crossentropy(wc_in,wc)(3)where部分中的运算符WO对于where部分的运算符部分的任务，目标是预测条件值对应的运算符有4个，新增一类代表当前字不被选中，其它类别则是选中且对应某个运算符。QV表示问题的外的其他输入特征，其形式为：P(woQ,H,QV)使用交叉端损失函数loss_wo=crossentropy(wo_in,wo)此外需要对输入问题特征进行mask处理，Xm为列的mask,其shape为ShaPe=mask.shape=(None,xen):loss_wo=SUm(IOss_wo*Xm)sum(xm)

22、(4)where部分中的条件列选择用Q表示输入问题，用H表示表的列名,QV表示如问题的外的其他输入特征,HV表示除了列名外的其他特征,其输入形式如下表示：P(ws,wvQ,H,QV,HV)使用交叉端损失函数：loss_ws=CrOSSentrOPy(ws_in,WS)并同时对输入模型的问题露正向量与表列名称向量做mask处理：loss_ws=sum(loss_ws*xm*cm)/sum(xm*cm)SeleCt部分对于select部分的子任务，目标是预测select部分的列值与select部分的agg值。用SC表示用来预测SeleCt部分的列值，用Sa表示SeIeet部分的agg对应值。用Q表

23、示输入问题，用H表示表的列名，即后面的每个C1.S对应的向量，每个表头的编码向量,用来预测该表头表示的列是否应该被SeleCt和agg(7分类问题),HV表示除了列名外的其他特征，则输入部分可以用如下表示：P(sa,selQ,H,HV)使用交叉端损失函数loss_sel=crossentropy(sel_in,sel)此外需要进行列名的mask处理，hm为列的mask,其shape为mask.shape=(None,h-len)loss_sel=sum(psel_loss*hm)/sum(hm)最终的损失函数为loss_wc+loss_wo+loss_ws+loss_sel模型的优化器可使用A

24、dam优位器，是目前深度腐型常用的优化器，包含两阶动量对梯度进行处理，其算法流程图如下。售IJrtft:9ti9t9(7t*mfT),11=OOoI:瓦=09=09=10n：步长箔称学3串(Stepwe)：而治|04)：矩估计的羯效IH|率：/():参数瞰机目新题数值；:初始管故向:*o*-;*-0:二电两:*-0：时阈步长：优化过IB(更蒙，数向过程)：w5MMR(9一(/，(.，I)WK-O9Mtt(鲁敛屋上论用)m,3ml-l(-3)*9*标.T冏.rl-V1O-)*9?昆新,二矩向11(l-)计伯陛校正的第二矩向4-rI-nmi(+9*：1到*iaU.ft4*r44A40l311W91

25、1f*M24M4M八三UWIMHmr速T边偿SrtH：*翕RAlUTBXr*tabl*4ct.|4MtezimiO.*ctr:WMWO以下是通过模型计算返回的json结果，其中Sq1.pred字段即为模型预测返回结果。*r9Mtl4*X*A41aCMVtTv*rl.旬acate*S*).o.i.*.).t.n.rr.（注：文本实践中为了验证模型，对数据进行了随机抽取，因此是基于小样本学习，没有进行系统性调参，预测结果会出现偏差。在服务器上使用GPU进行全样本大规模多轮迭代会大幅提升准确率）6、应用现状与未来展望nl2sql技术当前由于数据的问题暂时没有应用到业务当中，对于未来业务应用的规划其相

26、关技术可作为智能问答系统的一项辅助技术。当用户提出的问题在问答知识库中找不到相关答案，且通过语义相似模型找不到相似问题，则可再通过nl2sql模型再进行预测如下图。此外基于上文提到的论文及优化方案，可对模型进行大幅优化。本文主要介绍了nl2sql的背景，发展历程，相关数据集。详细介绍了构建nl2sql模型的特征工程过程，基于bert构建nl2sql模型的原理，及采用微服务架构部署模型的相关技术方案，并针对n!2sql对于未来业务问答系统的架构做了一个规划。目前尽管有着各色的数据库，但访问和操作数据库的SQ1.是通用的。人性化的编程语言SQ1.为开发者在工作中访问数据库提供了便利，但同时也限定了非专业用户按需查询数据库的场景。随着机器学习在N1.P领域取得的突破进展,结合了人工智能与N1.P的N1.2SQ1.为非专业用户查询数据库提供了新的思路。参考文献Ul邵理煜、刘巍：浅析商业银行数据治理之数据核心能力J，载中国金融电脑，2018.112曹金超、黄滔、陈刚、吴晓凡、陈珂：自然语言生成多表SQ1.查询语句技术研究，载计算机科学与探索，2020.04.16