Logstash6整合Hadoop-报错与解决方案
上接Logstash6整合Hadoop
Logstash
共 8 篇文章
Logstash6整合Hadoop
本文是之前elk的后续，故默认已搭建好logstash等elk相关环境。侧重点是Hadoop安装以及其与logstash的Output插件的整合。ELK的搭建可见：ELK实时日志管理-系统搭建
logstash6配置文件结构
对于要添加到事件处理管道的每种类型的插件，Logstash配置文件都有一个单独的区域（section）。
Logstash6中grok插件的常用正则表达式
Logstash 内置了120种默认表达式，可以查看patterns，里面对表达式做了分组，每个文件为一组，文件内部有对应的表达式模式。下面只是部分常用的。
logstash6配置语法中的条件判断
详情可见官方文档-conditionals。
ELK实时日志管理-指定JDK
服务器上默认为非1.8的JDK时，使用5.x的ELK需要指定单独的1.8的JDK才可。后期若能写成脚本，能在脚本中指定的话就不必现在这样麻烦地做入侵式修改了。
Logstash的grok表达式与Filebeat的日志过滤
grok为Logstash 的Filter的一个插件，又因为存在表达式要配置，最开始当成过滤条件的配置了。随着深入了解，发现这个只是一个数据结构化转换工具，主要作用就是把String类型的字符串转为key-value形式。
ELK实时日志管理-系统搭建
Filebeat轻量级的日志传输工具，可以读取系统、nignx、apache等logs文件，监控日志文件，传输数据到Elasticsearch或者Logstash，最后在Kibana中实现可视化。