ETL工具Kettle用户手册.docx

Spoon用户手册Spoon2.5.0用户手册11、SPoon介绍141、1什么是SPOOn141、2安装141、3运行SPOOn141、4资源库141、6定义151、6、1转换151、7工具栏171、8选项171、8、IGeneral标签181、8、2LookFeel标签191、9搜索元数据191、10设置环境变量202、创建一个转换或任务(CreatingaTransformationorJob)213、数据库连接(DatabaSeeonneCtionS)213、1描述213、2设置窗口223、3选项223、4数据库用法224、SQL编辑器(SQLEditor)234、1描述234、2屏幕截图234、3局限性245、数据库浏览器(DatabaSeExplorer)245、1屏幕截图245、2描述246、节点连接(HOPS)256、1描述256、1、1转换连接256、1、2任务连接256、2屏幕截图256、3创建一个连接266、4拆分一个连接266、5转换连接颜色267、变量(VariableS)277、1变量使用277、2变量范围277、2、1环境变量277、2、2Kettle变量277、2、3内部变量278、转换设置(TransformationSettings)288、1描述288、2屏幕截图298、3选项328、4其它339、转换步骤(Transformationsteps)339、1描述339、2运行步骤的多个副本339、3分发或者复制359、4常用错误处理359、5APaChe虚拟文件系统(VFS)支持379、6转换步骤类型399、6、1文本文件输入(TextInput)399、6、1、1屏幕截图399、6、1、2图标419、6、1、3常用描述429、6、1、4选项429、6、1、5格式化479、6、1、6其它489、6、2表输入(TableInput)499、6、2、1屏幕截图499、6、2、2图标499、6、2、3常用描述499、6、2、4选项509、6、2、5示例509、6、2、6其它519、6、3获取系统信息(GetSyStemlnfo)519、6、3、1屏幕截图519、6、3、2图标529、6、3、3常用描述529、6、3、4选项539、6、3、5用法539、6、4生成行(GenerateRows)549、6、4、1屏幕截图549、6、4、2图标549、6、4、3常用描述559、6、4、4选项559、6、5文件反序列化(De-serializefromfile)(原来名称为CUbelnPUt)559、6、5、1屏幕截图559、6、5、2图标559、6、5、3常用描述559、6、6XBaSe输入(XBaseinput)569、6、6、1屏幕截图569、6、6、2图标569、6、6、3常用描述569、6、6、4选项569、6、7EXCel输入(ExcelInput)579、6、7、1屏幕截图579、6、7、2图标599、6、7、3常用描述599、6、7、4选项599、6、8XMLj(XMLinput)609、6、8、1屏幕截图609、6、8、2图标619、6、8、3常用描述619、6、8、4选项629、6、9获取文件名(GetFiIeNameS)639、6、9、1屏幕截图639、6、9、2图标639、6、9、3常用描述639、6、10文本文件输出(TeXtFiIeOUtPUt)649、6、10、1屏幕截图649、6、10、2图标659、6、10、3常用描述659、6、11表输出(Tableoutput)679、6、11、1屏幕截图679、6、11、2图标679、6、11、3常用描述679、6、11、4选项689、6、11、5其它689、6、12插入/更新(InSert/Update)699、6、12、1屏幕截图699、6、12、2图标699、6、12、3常用描述699、6、12、4选项709、6、12、5其它709、6、13更新(UPdate)719、6、13、1屏幕截图719、6、13、2图标719、6、13、3常用描述719、6、14册腌Delete)729、6、14、1屏幕截图729、6、14、2图标729、6、14、3常用描述729、6、15序列化到文件(SerialiZetOfile)(以前是CUbeC)UtPUt)739、6、15、1屏幕截图739、6、15、2图标739、6、15、3常用描述739、6、16XML输出(XMLOUtPUt)749、6、16、1屏幕截图749、6、16、2图标759、6、16、3常用描述759、6、16、4选项759、6、17EXCel输出(EXCelOUtPUt)769、6、17、1屏幕截图769、6、17、2图标789、6、17、3常用描述789、6、17、4选项789、6、18ACCeSS输出(MicrosoftAccessOutput)799、6、18、1屏幕截图799、6、18、2图标799、6、18、3常用描述799、6、18、4选项799、6、19数据库查询(DatabaSe100kUP)809、6、19、1屏幕截图809、6、19、2图标809、6、19、3常用描述809、6、19、4选项819、6、20流查询(Streamlookup)819、6、20、1屏幕截图819、6、20、2图标819、6、20、3常用描述829、6、20、4选项829、6、20、5其它829、6、21调用数据库存储过程(CaIlDBProCedUre)839、6、21、1屏幕截图839、6、21、2图标839、6、21、3常用描述839、6、21、4选项839、6、21、5其它849、6、22HTTP客户端(HTTPCient)849、6、22、1屏幕截图849、6、22、2图标849、6、22、3常用描述849、6、22、4选项859、6、23字段选择(Selectvalues)859、6、23、1屏幕截图859、6、23、2图标879、6、23、3常用描述879、6、23、4选项879、6、24过滤行(FiIterroWS)889、6、24、1屏幕截图889、6、24、2图标889、6、24、3常用描述889、6、24、4选项889、6、25行排序(Sortrows)899、6、25、1屏幕截图899、6、25、2图标899、6、25、3常用描述899、6、25、4选项899、6、25、5其它909、6、26添力口序列(AddSeqUenCe)909、6、26、1屏幕截图909、6、26、2图标909、6、26、3常用描述909、6、26、4选项919、6、27空操作-什么都不做(DUmmy-donothing)919、6、27、1屏幕截图919、6、27、2图标919、6、27、3常用描述919、6、27、4选项929、6、28行转列(ROWNOnnaliSer)939、6、28、1屏幕截图939、6、28、2图标939、6、28、3常用描述939、6、28、4选项949、6、28、5其它949、6、29拆分字段(SPlitFieldS)959、6、29、1屏幕截图959、6、29、2图标959、6、29、3常用描述959、6、29、4选项959、6、30去除重复记录(UniqUeroWS)969、6、30、1屏幕截图969、6、30、2图标969、6、30、3常用描述979、6、30、4选项979、6、30、5其它979、6、31分组(GrOUPBy)989、6、31、1屏幕截图989、6、31、2图标989、6、31、3常用描述989、6、31、4选项999、6、32设置为空值(NUlIif)999、6、32、1屏幕截图999、6、32、2图标999、6、32、3常用描述1009、6、33计算器(CaICUIator)1009、6、33、1屏幕截图1009、6、33、2图标1009、6、33、3常用描述1019、6、33、4功能列表1019、6、34增加XML(XMLAdd)1029、6、34、1屏幕截图1029、6、34、2图标1029、6、34、3常用描述1029、6、34、4选项1039、6、35增加常量(Addconstants)1039、6、35、1屏幕截图1039、6、35、2图标1039、6、35、3常用描述和使用1049、6、36行转列(RowDenormaliser)1049、6、36、1屏幕截图1049、6、36、2图标1049、6、36、3常用描述1059、6、36、4选项1059、6、37行扁平化(Flattener)1059、6、37、1屏幕截图1059、6、37、2图标1059、6、37、3常用描述1059、6、37、4选项1069、6、37、5示例1069、6、38值映射(ValueMapper)1079、6、38、1屏幕截图1079、6、38、2图标1079、6、38、3常用描述1079、6、39被冻结的步骤(Blockingstep)1089、6、39、1屏幕截图1089、6、39、2图标1089、6、39、3常用描述1089、6、40记录关联(笛卡尔输出)(JoinRows-CartesianProduct)1099、6、40、1屏幕截图1099、6、40、2图标1099、6、40、3常用描述1099、6、40、4选项1109、6、41数据库连接(DatabaseJoin)1109、6、41、1屏幕截图1109、6、41、2图标Ill9、6、41、3常用描述Ill9、6、41、4选项Ill9、6、42合并记录(Mergerows)1129、6、42、1屏幕截图1129、6、42、2图标1129、6、42、3常用描述1129、6、43存储合并(StoredMerge)1139、6、43、1屏幕截图1139、6、43、2图标1139、6、43、3常用描述1139、6、44合并连接(MergeJoin)1149、6、44、1屏幕截图1149、6、44、2图标1149、6、44、3常用描述和使用1149、6、44、4选项1149、6、45JavaScript(JavaScriptValue)1159、6、45、1屏幕截图1159、6、45、2图标1159、6、45、3常用描述1159、6、45、4选项1159、6、45、5其它1169、6、45、6值函数1169、6、45、7JaVaSCriPt示例1209、6、45、7、1回忆先前的行1209、6、45、7、2设置地址名称到大写1209、6、45、7、3从日期字段提取信息1209、6、46改进的JaVaSCriPt值(ModifiedJavaScriptValue)1219、6、46、1屏幕截图1219、6、46、2图标1219、6、46、3常用描述1219、6、46、4JaVaSCriPt函数1219、6、46>5JavaScript1229、6、46、6字段1229、6、46、7其它1229、6、47执行SQL语句(ExecuteSQLscript)1239、6、47、1屏幕截图1239、6、47、2图标1239、6、47、3常用描述1239、6、48维度更新/查询(DimenSionlOokUP/update)1269、6、48、1屏幕截图1269、6、48、2图标1269、6、49联合更新/查询(CombinatiOn100kUP/update)1279、6、49、1屏幕截图1279、6、49、2图标1279、6、49、3常用描述1279、6、50映射(MaPPing)1289、6、50、1屏幕截图1289、6、50、2图标1289、6、50、3常用描述和使用1289、6、51从结果获取记录(Getrowsfromresult)1299、6、51、1屏幕截图1299、6、51、2图标1299、6、51、3常用描述1299、6、52复制记录到结果(COPyroWStOreSUlt)1299、6、52、1屏幕截图1299、6、52、2图标1309、6、52、3常用描述1309、6、53设置变量(SetVariable)1309、6、53、1屏幕截图1309、6、53、2图标1309、6、53、3常用描述1319、6、53、4变量使用1319、6、54获取变量(GetVariable)1319、6、54、1屏幕截图1319、6、54、2图标1329、6、54、3常用描述1329、6、55从以前的结果获取文件(GetmeSfrOmreSUIt)1329、6、55、1屏幕截图1329、6、55、2图标1329、6、55、3常用描述1329、6、56复制文件名到结果(Setfilesinresult)1339、6、56、1屏幕截图1339、6、56、2图标1339、6、56、3常用描述1339、6、57记录注射器(Injector)1349、6、57、1屏幕截图1349、6、57、2图标1349、6、57、3常用描述1349、6、58套接字读入器(SoCketReader)1359、6、58、1屏幕截图1359、6、58、2图标1359、6、58、3常用描述和使用1359、6、59套接字输写器(SoCketWriter)1359、6、59、1屏幕截图1359、6、59、2图标1369、6、59、3常用描述和使用1369、6、60聚合行(AggregateRows)1369、6、60、1屏幕截图1369、6、60、2图标1369、6、60、3常用描述1369、6、60、4选项1379、6、61流XML输入(StreamingXMLInput)1379、6、61、1屏幕截图1379、6、61、2图标1389、6、61、3常用描述1399、6、61、4选项1399、6、61、5完整的示例1409、6、62中止(AbOrt)1429、6、62、1屏幕截图1429、6、62、2图标1429、6、62、3常用描述1439、6、62、4选项1439、6、63OraCIe批量装载(Oraclebulkloader)1449、6、63、1屏幕截图1449、6、63、2图标1449、6、63、3常用描述1459、6、63、4选项14510>任务设置(JobSettings)14510、1描述14510、2屏幕截图14610、3选项14610、4其它14611、任务条目(JobEntries)14711>1描述14711、2任务条目类型14711、2、1特殊的任务条目14711、2、1、1屏幕截图14711、2、1、2图标14711、2、1、3常用描述14811、2、1、3、1启动14811、2、1、3、2Dummy14811、2、1、3、3OK14811、2、1、3、4ERROR14811、2、2转换14911、2、2、1屏幕截图14911、2、2、2图标14911、2、2、3常用描述14911、2、2、4选项14911、2、3任务15111、2、3、1屏幕截图15111、2、3、2图标15111、2、3、3常用描述15111、2、3、4选项15111、2、4Shell15211、2、4、1屏幕截图15211、2、4、2图标15311、2、4、3常用描述15311、2、4、4选项15311、2、5Mail15411、2、5、1屏幕截图15411、2、5、2图标15411、2、5、3常用描述15511、2、5、4选项15511、2、6SQL15611、2、6、1屏幕截图15611、2、6、2图标15611、2、6、3常用描述15611、2、6、4选项15611、2、7FTP15711、2、7、1屏幕截图15711、2、7、2图标15711、2、7、3常用描述15711、2、7、4选项15711、2、8TableExists15811、2、8、1屏幕截图15811、2、8、2图标15911、2、8、3常用描述15911、2、8、4选项15911、2、9FileExists15911、2、9、1屏幕截图15911、2、9、2图标15911、2、9、3常用描述15911、2、9、4选项16011>2、10Evaluation(javascript)16011、2、10、1屏幕截图16011、2、10、2图标16011、2、10、3常用描述16011、2、10、4选项16111、2、11SFTP16111、2、11、1屏幕截图161n、2、11、2图标16111、2、11、3常用描述16211、2、11、4选项16211、2、12HTTP16311、2、12、1屏幕截图16311、2、12、2图标16311、2、12、3常用描述16311、2、12、4选项16311>2、13Createafile16411、2、13、1屏幕截图16411、2、13、2图标16511、2、13、3常用描述16511、2、13、4选项16511、2、13、5其它16511、2、14Deleteafile16511、2、14、1屏幕截图16511、2、14、2图标16511、2、14、3常用描述16611、2、14、4选项16611、2、14、5其它16611、2、15Waitafile16611、2、15、1屏幕截图16611、2、15、2图标16611、2、15、3常用描述16711、2、15、4选项16711、2、15、5其它16711、2、16Filecompare16711、2、16、1屏幕截图16711、2、16、2图标16811、2、16、3常用描述16811、2、16、4选项16811、2、16、5其它16811、2、17PutfileswithSecureFTP16911、2、17、1屏幕截图16911、2、17、2图标16911、2、17、3常用描述16911、2、17、4选项16911、2、18Pingahost17011、2、18、1屏幕截图17011、2、18、2图标17011、2、18、3常用描述17011、2、18、4选项17011、2、19Waitfor17111、2、19、1屏幕截图171n、2、19、2图标17111、2、19、3常用描述17111、2、19、4选项17111、2、20DisplayMsgboxinfo17211、2、20、1屏幕截图17211、2、20、2图标17211、2、20、3常用描述17211、2、20、4选项17211、2、21Abortjob17311、2、21、1屏幕截图17311、2、21、2图标17311、2、21、3常用描述17311、2、21、4选项17311>2、22XSLtransformation17411、2、22、1屏幕截图17411、2、22、2图标17411、2、22、3常用描述17411、2、22、4选项17411、2、23Zipfiles17511、2、23、1屏幕截图17511、2、23、2图标17511、2、23、3常用描述17511、2、23、4选项17512>图形界面（GraphicalView）17612、1描述17612、2添加步骤或者任务条目17612、2、1拖放创建步骤17612、2、2从步骤类型树创建步骤17712、2、3在你想要的位置创建步骤17712、3隐藏步骤17712、4转换步骤选项（右键上下文菜单）17712、4、1编辑步骤17712、4、2编辑步骤描述17712、4、3数据迁移17712、4、4复制17712、4、5复制步骤17812、4、6删除步骤17812、4、7显示输入字段17812、4、8显示输出字段17812、5任务条目选项（右键上下文菜单）17812、5、1打开转换/任务17812、5、2编辑任务入口17812、5、3编辑任务入口描述17812、5、4复制任务入口17812、5、5复制选择的任务入口到剪贴板17812、5、6排列/分布17912、5、7拆开节点17912、5、8删除所有任务入口的副本17912、6添加节点连接17912、7运行转换17912、8屏幕截图17912、9执行选项18012、9、1在哪里执行18012、9、2预览18012、9、3使用安全模式18012、9、4日志级别18012、9、5重放日期18012、9、6参数18012、9、7变量18012、10设置远程或者从属服务器18112、10、1概述18112、10、2屏幕截图18113、日志(Logging)18113、1日志描述18113、2屏幕截图18213、3日志网格18213、3、1转换日志网格18213、3、2任务日志网格18313、4按钮18313、4、1转换按钮18313、4、1、1开始转换18313、4、1、2预览18313、4、1、3显示错误行18313、4、1、4清除日志18413、4、1、5日志设置18413、4、1、6仅仅显示活动的步骤18413、4、2任务按钮18413、4、2、1启动任务18413、4、2、2停止任务18513、4、2、3刷新日志18513、4、2、4清除日志18513、4、2、5日志设置18513、4、2、6自动刷新18614、网格(GridS)18614、1描述18614、2功能18614、3导航18615、资源库浏览器(RepositoryExplorer)18715、1描述18715、2屏幕截图18715、3右键单击功能18715、4备份/资源库18816、共享对象(Shareobjects)1881、SPOOn介绍1、1什么是SPOOnKettle是"KettleE.T.T.L.Envirnonment只取首字母的缩写。这意味着它被设计用来帮助你实现你的ETTL需要：抽取、转换、装入和加载数据。Spoon是一个图形用户界面，它允许你运行转换或者任务，其中转换是用Pan工具来运行，任务是用KitChen来运行。Pan是一个数据转换引擎，它可以执行很多功能，例如：从不同的数据源读取、操作和写入数据。KitChen是一个可以运行利用XML或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。1、2安装要运行此工具你必须安装Sun公司的JAVA运行环境L4或者更高版本，相关资源你可以从http:WWw.javasoft.Com上下载。1、3运行SPOOn下面是在不同的平台上运行Spoon所支持的脚本：Spoon,bat:在windows平台运行Spoon0Spoon,sh:在LinUx、AppleOSX>SOlariS平台运行SPOon。1、4资源库一个Kettle资源库可以包含那些转换信息，这意味着为了从数据库资源中加载一个转换，你必须连接相应的资源库。要实现这些,你需要在资源库中定义一个数据库连接,你可以在Spn启动的时候,利用资源库对话框来定义。资源库登陆屏幕截图关于资源库的信息存储在文件“reposityries.xml”中，它位于你的缺省home目录的隐藏目录”.kettle”中。如果是windows系统，这个路径就是c:DocumentsandSettings<usemame>.kettle。如果你不想每次在Spoon启动的时候都显示这个对话框，你可以在“编辑/选项”菜单下面禁用它。*：admin用户的缺省密码也是admin。如果你创建了资源库，你可以在“资源库/编辑用户”菜单下面修改缺省密码。1、5资源库自动登录你可以设置以下的环境变量，来让Spn自动登录资源库。环境变量：KETTLE_REPOS!TORY,KETTLE_USER,KETTLE_PASSWORDo1、6定义1>6、1转换Value：Values是行的一部分，并且是包含以下类型的的数据：StringsfloatingpointNumbers>unlimitedprecisionBigNumbers>Integers>Dates>或者BOolean。Row：一行包含0个或者多个ValUes。OutputStream：一个OUtPUtStream是离开一个步骤时的行的堆栈。InputStream：一个InputStream是进入一个步骤时的行的堆栈。Hop：一个HOP代表两个步骤之间的一个或者多个数据流。一个HOP总是代表着一个步骤的输出流和一个步骤的输入流。Note：一个Note是一个转换附加的文本注释信息。1>6、2任务JobEntry：一个JobEntry是一个任务的一部分，它执行某些内容。Hop：一个Hop代表两个步骤之间的一个或者多个数据流。一个Hop总是代表着两个JobEntry之间的连接，并且能够被原始的JobEntry设置，无条件的执行下一个JobEntry,直到执行成功或者失败。Note：一个Note是一个任务附加的文本注释信息。1、1工具栏含义0创建一个新的转换或者任务fl创建一个新的转换回创建一个新的任务3打开一个转换或者任务，不管你有没有连接到资源库B保存转换或者任务到一个文件或者资源库里用不同的文件名保存转换或者任务返回一个打印对话框，你可以指定页数或者页边等运行转换或者任务：从XML文件或者资源库中运行当前的转换预览转换：在内存中运行当前的转换，你可以预览指定的步骤产生的行*按照指定的日期和时间重放转换检验转换：Spn将对每一个步骤进行检查，以确定是否能得到期望值不效果分析：转换将给老的数据库带来什么样的结果生成在运行转换之前需要执行的SQL语句你可以改变很多选项来增强图形用户界面的个性化。例如你可以设置窗体的字体和颜色。要改变这些选项，你可以在“编辑/选项”中设置。祗Kettieoptions取消×J确定I取消I1>8>IGelIeral标签名称含义Maximumundolever设置能被Spoon撤销的最大步骤数Defaultpreviewsize设置转换预览时从步骤中可以得到的行数Showtipsatstartup设置在启动的时候是否显示提示信息Showwelcomepageatstartup设置在运行Spoon的时候是否显示欢迎页面UsedatabasecacheSpoon的缓存信息存储在源和目标数据库上。当我们改变数据库的时候可能会得到不正确的结果，在这种情况下，可能需要完全禁用缓存，而不是每次都去清除缓存。Openlastfileatstartup这个选项可用时,可以自动的加载最近从XML文件或者资源库中打开的转换Autosavechangedfile这个选项可用时，在运行转换之前，将自动保存转换改变的内容Onlyshowtheactivefileinthemaintree这个选项将按照目前的活动文件，在主菜单中减少转换或者任务的项目OnlysaveusedconnectioninXML这个选项将限制转换的XML输出Askaboutreplacingexistingconnectiononopen/import这个选项将在替换一个已经存在的数据库连接之前询问Replaceexistingconnectionsonopen/importShowsaveconfirmation这个选项将允许你在转换改变的时候，关闭确认保存对话框Automaticallysplithops这个选项将允许你在分割Hop的时候，关闭确认对话框Showcopyordistributerowswarning这个选项将允许你在设计一个步骤有多个输出的时候，关闭警告信息Showtherepositoriesdialogatstartup这个选项控制是否在启动的时候显示资源库对话框Clearcustomflagsandparameters这个选项将清除在插件或者步骤对话框中设置的所有参数和标记1>8、2LookFeel标签名称含义Defaultfont被对话框、树、输入字段用到的字体Graphfont被图形界面用到的字体GridfontSpoon所有网格用到的字体Notefont图形界面备注用到的字体BackgroundcolorSpoon,对话框的背景色GraphbackgroundcolorSpoon图形界面用到的背景Colorofselectedtabs标示标签被激活的状态Iconsize图标的尺寸，原始尺寸是32*32像素，最好设置成16,24,32,48,64或者其它32的倍数Linewidth这个设置影响图形界面上HoP的线宽，以及步骤的边框Shadowsize如果这个尺寸大于0,步骤、HOP和备注将在画布上留下阴影，好像转换悬浮在画布上Dialogmiddlepercentage缺省参数是35%.Canvasanti-aliasingenabled?TakeoverlookfromtheOS?ShowbrandinggraphicsDefaultlocaletouse指定缺省的语言Failoverlocaletouse因为Kettle原始的语言是英语，所以最好设置成英语1、9搜索元数据可以通过“编辑/Searchmeta-data”或者CTRL+F来使用这个特性。这个选项将在可用的字段、连接器、注释以及所有加载的任务和转换中搜索，并展示搜索的结果。1、10设置环境变量添加设置环境变量的功能，使动态的测试转换变为可能。通常变量被一个任务中不同的转换设置。不管怎么样，在开发或者测试期间，你可能需要手动的设置变量。,lXlPleaseenterthevaluesoftevariablesoreatenewones取消可以通过“编辑/SetEnvironmentvariables或者CTRL+J来使用这个特性.当你运行一个未定义的变量时将出现这个窗口，你可以在执行的时候去定义它。2、创建一个转换或任务(CreatingTransformationorJob)可以通过工具栏上的转换创建按钮Ia和任务创建按钮田或者文件创建按钮门来创建，也可以通过“文件/新建”或者快捷方式“CTRL+N”来创建。当你选择了你需要创建的文件类型，将会为你的选择（任务或者转换）创建一个图形用户界面。3、数据库连接(DatabaSeConnections)3、1描述一个连接描述了KettIe连接数据库的方法，在左边树菜单