今天福哥要带着大家学习Logstash的grok工具的使用技巧。grok是一个日志编辑工具,通过grok可以针对传入的日志数据进行随心所欲的编辑,包括字段提取、添加字段、删除字段等等。
根据ELK的设计思想日志最好是存储到ES引擎里面方便后面的日志查询和日志分析,而ES引擎的存储格式是JSON格式,但是各种软件的日志不一定是JSON格式的,这个时候就需要通过grok把传入的各种格式的日志数据转换成JSON格式了。
2.提取器2.1语法格式
%{[提取器]:[字段名称]}
示例
%{IPV4:clientIP}2.2常用范例2.2.1IPORHOST
数据为IP地址或者主机名称。
2.2.2USER数据为用户名或者密码。
2.2.3HTTPDATE数据为HTTP风格的日期。类似如下格式:
21/Feb/:21:56:50+.2.4WORD
数据为字符串。
2.2.5DATA数据为数据。
2.2.6NUMBER数据为普通数字,包括int和float。
%{NUMBER:bytes}
数据为整型数字。
%{NUMBER:status:int}2.2.7QS
数据为双引号括起来的字符串类型。
2.3更多范例