GrayLog日志管理系统.pptx

GrayLog日志管理系统,开源的日志聚合工具-为程序员服务,特点,零开发，从收集-存储-分析-呈现完整流程一体化方案，安装方便，简单配置即可使用大数据支持，支持几十G日志收集、查询支持多日志收集工具，syslog、Log4j、Logstash等支持多协议接入，UDP、TCP、HTTP、AMQP丰富的功能界面，提供列表、图形和自定义面板全文搜索，支持按语法进行过滤搜索全部日志支持扩展，可以根据应用扩展平台性能,GrayLog设计架构,GrayLog-系统界面,日志收集-多接入源,日志收集-信息标准GELF,内部数据标准信息格式GELF外部转换成GELF后输入外部输入后内部转换成GELFGELF可支持字段扩展,日志收集-多协议支持,支持syslog-ng、rsyslog系统日志支持GELF标准TCP、UDP、HTTP其它协议,日志收集-系统日志syslog-ng rsyslog,Gray支持将系统日志直接转换成GELF修改系统日志的输出方向（/etc/syslog.conf）在GrayLog中通过WEB界面添加日志输入源,日志收集-Log4j,通过一个Jar包实现将Log4j日志转换成GELF，并通过UDP、TCP发送到GrayLog优点：使用简单、维护成本低、实时性高缺点：当应用服务器与GrayLog服务器之间网络异常或GrayLog服务中断时，日志会丢失,日志收集-工具-Logstash、Fluentd,先用工具收集日志，再推送到GrayLog服务器优点：安全性更高，通过缓存区可以避免当网络异常或GrayLog服务异常引起的日志丢失缺点：增加一个服务，造成维护成本高；采用UDP方式，仍然不能避免日志收集服务异常中断问题；采用日志文件方式，实时性不高,日志收集-GELF UDP接收,在GrayLog上通过WEB界面添加输入源,日志配置存储-MongoDB,存储系统用户、模板、配置等信息,日志分析与存储-ElasticSearch,支持全文搜索搜索效率高支持简单语法按字段搜索或全文搜索AND、OR、NOT搜索精确搜索和模糊搜索通配符搜索相似搜索范围搜索,日志界面呈现-Search,日志详情,内容日志,错误日志,日志-图形分析,分类统计分析时间趋势分析数据差值分析,自定义面板-DashBoards,灵活定制，自定义规则面板可编辑，自定义显示位置内容自动刷新,日志信息提取-信息字段扩展,Json格式提取Key=Value提取正则表达式提取,流规则定义-Stream,对指定输入流按定义规则进行检测可以根据规则查看过滤获得的消息列表可以设置报警规则，发出警报（1）发送邮件（2）内容提交到其它URL地址,GrayLog-性能、存储周期,依赖于安装主机的性能，包括CPU和内存，对ElaticSearch来说，内存越大越大，能有效提高数据检索速度GrayLog中的日志数据不是永久保存，它可以通过两种方式来设置，这个值的设置需要依赖主机性能保存周期（一般不能超过3个月）保存容量大小（一般最大是几十G）,性能不足？,安装部署,一体化安装，集成操作系统、各种安装包和环境配置，分配一个虚拟机即可单独安装，需要下载各种服务包，需要知道版本匹配，并且配置较多建议采用一体化安装,GrayLog-2.0,已出第一个商业版本Search界面自动刷新支持日志数据备份搜索结果高亮显示支持插件开发,谢谢！,