从 Fluentd 上传日志

Fluentd 是一个开源日志收集器,可帮助您构建统一的日志记录层。您的应用程序基础架构中可能有不同的日志类型——使用 Fluentd,您可以将各种日志类型整合到一个屋檐下并轻松跟踪它们。

您可以使用 Fluentd 将日志推送到 Site24x7 AppLogs 以跟踪、分析和管理各种日志类型。请按照以下步骤操作。  

目录

安装 Site24x7-Fluentd 输出插件

  • 如果您使用 FluentD 代理,请打开命令提示符并使用以下命令安装插件:
    $ gem install fluent-plugin-site24x7
  • 如果您使用的是 td-agent,请使用以下命令:
    $ /usr/sbin/td-agent-gem 安装 fluent-plugin-site24x7

在 Site24x7 AppLogs 中添加日志配置文件

  1. 登录到您的Site24x7 帐户 > 管理 > AppLogs > 日志配置文件,然后单击右上角的添加日志配置文件
  2. 单击选择日志类型下拉菜单以选择您的日志类型(例如:Apache Access 日志)。将应用默认日志模式。您还可以添加自定义日志模式。
  3. 选择日志收集器作为日志源.
  4. 单击保存
  5. 保存日志配置文件后,导航到管理> AppLogs > 日志配置文件,然后从列表中选择新创建的日志配置文件
  6. 复制给定的输入变量文本,并在参数log_type_config之后输入到日志收集器中

将事件与 Site24x7 AppLogs 匹配

  1. 安装插件并在 Site24x7 AppLogs 中创建日志配置文件后,在 Fluentd 配置文件中添加以下配置以匹配事件并将其发送到 Site24x7: 注意:如果您安装了 td-agent,您可以在此找到配置文件路径:/etc/td-agent/td-agent.conf
    # 匹配标记为“site24x7.**”的事件并将它们发送到 Site24x7 <match site24x7.**>
    @type site24x7
    @id site24x7_agent
    log_type_config
    #将从 Site24x7 AppLogs 复制的密钥粘贴到 <your_log_type_config>

    <buffer>
    @type memory
    flush_thread_count 4
    flush_interval 3s
    chunk_limit_size 5m
    chunk_limit_records 500
    </buffer>
    </match>

     
    例子:
  2. 可选参数:
    属性 描述 默认值
    max_retry  重新发送失败上传的次数。  3
    retry_interval  重试之间的休眠时间间隔,每次重试时呈指数增长。 2 秒 
    http_idle_timeoutthis  超时(以秒为单位),在此期间 HTTP 持久连接将在没有流量的情况下保持打开状态。 5秒 
    http_read_timeout  套接字连接直到连接中断的超时时间(以秒为单位)。 30秒 
    http_proxy  您的代理 URL
    可选 HTTP 代理:http_proxy 'http://user:passs@mproxy.host:proxy.port' 
    0
  3. 重新启动 Fluentd 代理以将带有 Site24x7 标记的事件推送到 Site24x7 AppLogs

故障排除说明:

我在 Site24x7 AppLogs 中没有看到来自 Fluentd 的日志。我该如何解决?

如果您没有收到 Site24x7 中的日志,可能是因为:

  • 在配置的日志配置文件中输入的日志模式不正确。 
  • 已推送了一些在配置的日志模式中不存在的附加参数。

要解决这些问题,请按照以下说明进行操作:

  1. 在 Fluentd 中启用调试日志。您可以在 Fluentd 配置文件中添加以下条目并重新启动 Fluentd 代理: 
    <system>
    log_level debug
    </system>
  2. 使用消息“模式不匹配”​​检查“/var/log/td-agent/td-agent.log”日志文件,并确定您在 Site24x7 AppLogs 中未看到数据的日志类型。 
  3. 为已识别的日志类型重新配置日志配置文件,并更新 Fluentd 配置文件中的 log_type_config 值。

如果您遇到任何其他错误,请联系 support@site24x7.com 并提供错误日志。