Fluent-bit日志插件配置说明 #

一、概述 #

fluent-bit配置文件中，主要由输入（Input）、解析器（Parser）、过滤器（Filter）、缓存（Buffer）、路由（Routing）、输出（Output）六大模块组成，各个模块的详细说明如下：

二、配置文件 #

一个fluent-bit配置文件除了包括输入（Input）、解析器（Parser）、过滤器（Filter）、缓存（Buffer）、路由（Routing）、输出（Output）六个模块外，还需要配置Service，该模块主要负责fluent-bit的配置，如Parser配置文件路径、fluent-bit自身日志打印等。如下是fluent-bit.conf配置：

[SERVICE]
    Flush        1
    Daemon       Off
    Log_Level    debug
    Parsers_File parsers.conf
[INPUT]
    Name             tail
    Path             ${K8S_LOG_DIR}/*.log
    Parser           json
    Tag              kube_file.*
    Refresh_Interval 5
    Mem_Buf_Limit    5MB
    Skip_Long_Lines  OFF
[FILTER]
    Name             record_modifier
    Match            kube_file.*
    Record           hostname ${K8S_HOSTNAME}
    Record           namespace ${K8S_POD_NAMESPACE}
    Record           application ${K8S_APPLICATION_NAME}
    Record           pod ${K8S_POD_NAME}
    Record           container ${K8S_CONTAINER_NAME}
    Record           node ${K8S_NODE_NAME}
[OUTPUT]
    Name             es
    Match            *
    Host             ${ELASTICSEARCH_HOST}
    Port             ${ELASTICSEARCH_PORT}
    Logstash_Format  On
    Retry_Limit      False
    Type             flb_type
    Time_Key         time
    Time_Key_Format  yyyy-MM-dd HH:mm:ss.SSS
    Replace_Dots     On
    Logstash_Prefix  segma_application_file

三、Service #

Service各个配置项如下：

在Kubernetes中进行日志收集时，一般需要配置的项有：Flush、Daemon、Log_Level、Parsers_File。在调试插件时，关闭Daemon以及设置Log_Level为debug甚至更高可方便查看插件运行错误。Parsers_File对应解析器的配置，可参考官方提供的parsers.conf

四、Input #

INPUT模块指点了日志输入源，每个输入插件都可以添加自己的配置键。以下为目前官方支持的输入源插件,官方Input Plugins。运行在kubernetes集群内的应用日志收集时，我们使用的是tail插件常用参数如下：

常用的参数有Path、Parser、Tag、Refresh_Interval、Mem_Buf_Limit、Skip_Long_Lines。Path指定日志所在目录；Tag为Routing参数，会在Routing章节介绍；Refresh_Interval指定日志刷新时间间隔，会直接影响日志收集的实时性，一般设置为5秒；Mem_Buf_Limit指定插件内存大小，一般设置5Mb;Skip_Long_Lines一般使用默认值Off；其中比较重要的是Parser参数的配置，主要匹配Parser解析器，其值为解析器的name值，下一章介绍Parser解析器。

五、Parser #

Parser解析器的配置是单独的一个配置文件，配置的加载是由Service模块的Parsers_File参数指定。可参考官方提供的parsers.conf

六、Filter #

Filter插件允许改变输入数据的结构，例如在Kubernetes集群中，我们需要日志记录应用的名字以及所在节点，而默认日志未打印该值，我们便可以使用Filter附加该值。详情见官方插件信息

七、Buffer #

当准备好将数据或日志路由到某个目标位置时，默认情况下会将它们缓冲在内存中。

八、Routing #

路由是一项核心功能，可让您通过过滤器将数据路由到一个或多个目的地。路由主要由两个参数控制。

• Tag：当数据由输入插件生成时，它附带一个标签（大多数情况下是手动配置该标签），该标签是人类可读的指示器，有助于识别数据源。
• Match：我们定义其中的数据应被路由，一个匹配规则在配置中进行分配。

下面文件将简单介绍路由规则的实现：

[INPUT]
    Name cpu
    Tag  my_cpu

[INPUT]
    Name mem
    Tag  my_mem

[OUTPUT]
    Name   es
    Match  my_cpu

[OUTPUT]
    Name   stdout
    Match  my_mem

在上面的配置中，es输出通过Match值my_cpu匹配到输入插件cpu的Tag值，而stdout输出则通过Match值my_mem匹配到输入插件mem的Tag值，所以es输出只接收cpu输出，stdout输出只接收mem输出。

九、Output #

输出接口允许定义数据的目的地。通用目标是远程服务，本地文件系统或其他标准接口。输出实现为插件，并且有很多可用的插件。 有关更多详细信息，请参阅“输出插件”部分。

Filter

附录 Fluent-bit官方文档 #

https://fluentbit.io/documentation