HDFS是一种设计用于在通用硬件(commodity hardware)上运行的分布式文件系统。最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的。HDFS具有高度容错能力，旨在部...

Apache Hadoop是一款用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop软件库是一个允许使用简单的编程模型跨计算机集群分布式处理大型数据集的框架。它旨在从单个服务器扩展到数...

上接Logstash6整合Hadoop 报错与解决方案WebHDFS::ServerError: Failed to connect to host 192.168.0.80:50070,No ro...

前提本文是之前elk的后续，故默认已搭建好logstash等elk相关环境。侧重点是Hadoop安装以及其与logstash的Output插件的整合。ELK的搭建可见：ELK实时日志管理-系统搭建 ...

两个主要概念：名称解释概念类比Buckets(桶)满足特定条件的文档的集合。类似于 SQL 的分组（GROUP BY）Metrics(指标)对桶内的文档进行统计计算。类似于 COUNT() 、 SU...

近实时（Near Realtime, NRT）Elasticsearch是一个近乎实时的搜索平台。这意味着从索引文档到可搜索文档的时间有一点延迟（通常是一秒）。集群（Cluster ）集群是一个或多...

配置文件的结构对于要添加到事件处理管道的每种类型的插件，Logstash配置文件都有一个单独的区域（section）。# This is a comment. You should use comm...

grok默认表达式Logstash 内置了120种默认表达式，可以查看patterns ，里面对表达式做了分组，每个文件为一组，文件内部有对应的表达式模式。下面只是部分常用的。常用表达式表达式标识名...

详情可见官方文档-conditionals 。有时您只想在特定条件下过滤或输出事件。为此，您可以使用条件（conditional）。比如在elk系统中想要添加一个type类型的关键字来根据不同的条件...

9.附录9.1 grok表达式grok为Logstash 的Filter的一个插件，又因为存在表达式要配置，最开始当成过滤条件的配置了。随着深入了解，发现这个只是一个数据结构化转换工具，主要作用就是...