记录mysql慢查询

使用Promtail和Loki处理MySQL慢查询日志，并在Grafana中展示，是一种常见的日志监控方案。Promtail是一个日志采集工具，Loki是一个日志聚合系统，专为与Grafana配合设计。以下是详细的实现步骤：

1. 设置 MySQL 慢查询日志

首先，确保MySQL的慢查询日志已启用，并且指定了输出文件。

[mysqld]
slow_query_log = 1
slow_query_log_file = /var/log/mysql/slow.log
long_query_time = 1

2. 安装和配置 Promtail

Promtail用于收集日志并将其发送到Loki。

1. 安装 Promtail：可以从Promtail的GitHub页面下载适合你操作系统的版本。

2. 配置 Promtail：编辑Promtail的配置文件promtail-config.yml。

   server:
     http_listen_port: 9080
     grpc_listen_port: 0
   
   positions:
     filename: /tmp/positions.yaml
   
   clients:
     - url: http://localhost:3100/loki/api/v1/push
   
   scrape_configs:
     - job_name: mysql-slow-logs
       static_configs:
         - targets:
             - localhost
           labels:
             job: mysql
             __path__: /var/log/mysql/slow.log

   • server: 配置Promtail服务器的监听端口。
   • positions: 用于跟踪日志文件的读取位置，以防重启后继续读取。
   • clients: 指定Loki服务器的地址。
   • scrape_configs: 配置Promtail的日志采集任务，包括目标日志文件和标签。

3. 启动 Promtail：

   ./promtail --config.file=promtail-config.yml

3. 设置 Loki

1. 安装 Loki：可以从Loki的GitHub页面下载Loki。

2. 配置 Loki：编辑Loki的配置文件loki-config.yml。

   auth_enabled: false
   
   server:
     http_listen_port: 3100
   
   ingester:
     lifecycler:
       ring:
         kvstore:
           store: inmemory
         replication_factor: 1
     chunk_idle_period: 15m
     chunk_retain_period: 1m
     max_transfer_retries: 0
   
   schema_config:
     configs:
       - from: 2020-10-24
         store: boltdb-shipper
         object_store: filesystem
         schema: v11
         index:
           prefix: index_
           period: 168h
   
   storage_config:
     boltdb_shipper:
       active_index_directory: /loki/index
       cache_location: /loki/boltdb-cache
       shared_store: filesystem
     filesystem:
       directory: /loki/chunks
   
   chunk_store_config:
     max_look_back_period: 0
   
   table_manager:
     retention_deletes_enabled: false
     retention_period: 0

   • server: 配置Loki服务器的监听端口。
   • storage_config: 配置数据的存储方式。

3. 启动 Loki：

   ./loki --config.file=loki-config.yml

4. 在 Grafana 中配置数据源

1. 添加 Loki 数据源：

   • 登录Grafana，进入数据源管理页面，添加Loki作为数据源。
   • 配置Loki服务器的URL（例如 http://localhost:3100）。

2. 测试连接：确保数据源连接正常。

5. 创建和配置仪表板

1. 创建新的仪表板：在Grafana中创建一个新的仪表板，添加一个面板。

2. 配置查询：

   • 使用LogQL（Loki的查询语言）编写查询来提取慢查询日志数据。例如，显示包含Query_time字段的所有日志：

     {job="mysql"} |= "Query_time"

   • 你可以进一步过滤和提取日志内容，例如提取具体的慢查询语句。

3. 显示慢查询日志：

   • 选择适合的面板类型（如日志面板）来显示日志数据。配置面板的时间范围、刷新间隔等。

示例查询

以下是一个可能的LogQL查询示例，用于提取并展示慢查询语句和相关信息：

{job="mysql"} |= "Query_time" | logfmt | line_format "{{.msg}}"

这个查询从带有job="mysql"标签的日志中提取包含Query_time的行，并将这些行格式化为msg字段显示。

注意事项

• 安全和性能：确保Loki和Promtail的配置适合你的生产环境，以避免性能问题和数据泄漏。
• 日志数据量：处理大量日志数据可能需要较高的存储和处理能力，确保你的系统能够处理预期的日志量。

通过这些步骤，你可以在Grafana中显示MySQL的慢查询日志，并实时监控和分析这些日志。