日志截断 kafka message 默认有 1M 大小的限制(可以调整)，在收集日志时，太长的日志需要进行截断处理，配置如下： 1 2 3 4 5 6 7 <filter test-log.**> @type record_transformer enable_ruby true <record> log ${record.dig("log")[0, 999000] } </record> </filter> 这里

部署方式 使用 bitnami 的 kafka chart 来部署。 暴露端口到集群外 仔细阅读文档可知，标准的 chart 通过配置 values.yaml 文件的 externalAccess 就能通过主机端口来访问到 kafka，部分配置如下: 1

镜像 基础镜像 quay.io/fluentd_elasticsearch/fluentd:v2.9.0. 基础镜像 Dockerfile 项目地址 构建自己的镜像 1 2 3 4 5 6 FROMquay.io/fluentd_elasticsearch/fluentd:v2.9.0RUN gem uninstall fluent-plugin-kubernetes_metadata_filter --version=2.4.1 && \ gem uninstall kubeclient --version=4.5.0 && \ gem uninstall fluentd --version=1.8.0 && \ gem install fluentd fluent-plugin-kubernetes_metadata_filter kubeclient fluent-plugin-kafka 配置 基本命令 配置文件主要由以下命