Java笔记 ·

Logstash6中grok插件的常用正则表达式

grok默认表达式

Logstash 内置了120种默认表达式,可以查看patterns,里面对表达式做了分组,每个文件为一组,文件内部有对应的表达式模式。下面只是部分常用的。

常用表达式

表达式标识 名称 详情 匹配例子
USERNAME 或 USER 用户名 由数字、大小写及特殊字符(._-)组成的字符串 1234BobAlex.Wong
EMAILLOCALPART 用户名 首位由大小写字母组成,其他位由数字、大小写及特殊字符(_.+-=:)组成的字符串。注意,国内的QQ纯数字邮箱账号是无法匹配的,需要修改正则 windcoderwindcoder_comabc-123
EMAILADDRESS 电子邮件 windcoder@abc.comwindcoder_com@gmail.comabc-123@163.com
HTTPDUSER Apache服务器的用户 可以是EMAILADDRESSUSERNAME
INT 整数 包括0和正负整数 0-12343987
BASE10NUM 或 NUMBER 十进制数字 包括整数和小数 0185.23
BASE16NUM 十六进制数字 整数 0x0045fa2d-0x3F8709
WORD 字符串 包括数字和大小写字母 String3529345ILoveYou
NOTSPACE 不带任何空格的字符串
SPACE 空格字符串
QUOTEDSTRING 或 QS 带引号的字符串 "This is an apple"'What is your name?'
UUID 标准UUID 550E8400-E29B-11D4-A716-446655440000
MAC MAC地址 可以是Cisco设备里的MAC地址,也可以是通用或者Windows系统的MAC地址
IP IP地址 IPv4或IPv6地址 127.0.0.1FE80:0000:0000:0000:AAAA:0000:00C2:0002
HOSTNAME IP或者主机名称
HOSTPORT 主机名(IP)+端口 127.0.0.1:3306api.windcoder.com:8000
PATH 路径 Unix系统或者Windows系统里的路径格式 /usr/local/nginx/sbin/nginxc:\windows\system32\clr.exe
URIPROTO URI协议 httpftp
URIHOST URI主机 windcoder.com10.0.0.1:22
URIPATH URI路径 //windcoder.com/abc//api.php
URIPARAM URI里的GET参数 ?a=1&b=2&c=3
URIPATHPARAM URI路径+GET参数 /windcoder.com/abc/api.php?a=1&b=2&c=3
URI 完整的URI https://windcoder.com/abc/api.php?a=1&b=2&c=3
LOGLEVEL Log表达式 Log表达式 AlertalertALERTError

日期时间表达式

表达式标识 名称 匹配例子
MONTH 月份名称 JanJanuary
MONTHNUM 月份数字 03912
MONTHDAY 日期数字 03931
DAY 星期几名称 MonMonday
YEAR 年份数字
HOUR 小时数字
MINUTE 分钟数字
SECOND 秒数字
TIME 时间 00:01:23
DATE_US 美国时间 10-01-189210/01/1892/
DATE_EU 欧洲日期格式 01-10-189201/10/188201.10.1892
ISO8601_TIMEZONE ISO8601时间格式 +10:23-1023
TIMESTAMP_ISO8601 ISO8601时间戳格式 2016-07-03T00:34:06+08:00
DATE 日期 美国日期%{DATE_US}或者欧洲日期%{DATE_EU} |
DATESTAMP 完整日期+时间 07-03-2016 00:34:06
HTTPDATE http默认日期格式 03/Jul/2016:00:36:53 +0800

自定义grok表达式

上面列举的只是一部分,更多的可以自己搜索查找,如果需要自定义,需要按以下步骤进行:

  • 创建一个名为patterns的目录,其中包含一个名为extra的文件(文件名无关紧要,但为自己命名有意义)
  • 在该文件中,将您需要的模式按如下格式书写:模式名称,空格,然后是该模式的正则表达式。

例如,获取 一个queue id:

# contents of ./patterns/postfix:
POSTFIX_QUEUEID [0-9A-F]{10,11}

然后使用此插件中的patterns_dir 字段设置告诉logstash您的自定义模式目录所在的位置。
这是一个包含示例日志的完整示例:

Jan  1 06:25:43 mailserver14 postfix/cleanup[21403]: BEF25A72965: message-id=<20130101142543.5828399CCAF@mailserver14.example.com>

配置:

filter {
  grok {
    patterns_dir => ["./patterns"]
    match => { "message" => "%{SYSLOGBASE} %{POSTFIX_QUEUEID:queue_id}: %{GREEDYDATA:syslog_message}" }
  }
}

结果:

timestamp: Jan 1 06:25:43
logsource: mailserver14
program: postfix/cleanup
pid: 21403
queue_id: BEF25A72965
syslog_message: message-id=<20130101142543.5828399CCAF@mailserver14.example.com>

另一种选择是使用pattern_definitions在过滤器中定义内联模式。

这主要是为了方便起见,并允许用户定义一个可以在该过滤器中使用的模式。

pattern_definitions中新定义的模式在特定的grok过滤器之外将不可用。

参考资料

Grok filter plugin
关于Logstash中grok插件的正则表达式例子

参与评论