zl程序教程

您现在的位置是:首页 >  其他

当前栏目

CLS日志服务如何对接 Grafana图形展示?

2023-03-20 15:00:27 时间
PS:最近客户需要CLS日志服务,对接grafana做图形展示对接,借鉴参考了以下文章发布最新的指南学习;

操作场景

日志服务(Cloud Log Service,CLS)与 Grafana 打通,支持将 CLS 的原始日志数据与 SQL 聚合分析结果导出,并在 Grafana 展示。您只需安装 CLS 日志服务 Grafana 插件,并在 Grafana 填写检索分析的语句,即可在 Grafana 上展示结果

本文档以 CentOS 操作系统为例,指导您安装和配置 Grafana:

操作步骤:

安装 Grafana

安装 Grafana,具体操作请参见 Grafana 官网文档。 以 CentOS 安装 grafana 7.3.6 为例:

sudo yum install initscripts urw-fonts wget
wget https://dl.grafana.com/oss/release/grafana-7.3.6-1.x86_64.rpm
sudo yum install grafana-7.3.6-1.x86_64.rpm
sudo systemctl daemon-reload
sudo systemctl start grafana-server
sudo systemctl status grafana-server 
sudo systemctl enable grafana-server  

如需安装更多可视化图表(例如饼图、趋势速览图等),请执行对应的命令安装 grafana panel 插件。 例如,您需要安装饼图(pie panel),可执行如下命令:

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

更多插件安装,请参考 Grafana plugins

安装和配置 CLS 对接 Grafana 插件

  1. /var/lib/grafana/plugins/插件目录下安装 CLS 对接 Grafana 插件。 cd /var/lib/grafana/plugins/ wget https://github.com/TencentCloud/cls-grafana-datasource/releases/latest/download/tencent-cls-grafana-datasource.zip unzip tencent-cls-grafana-datasource 说明:
    • 如果您的云服务器非 CentOS 系统,请先确认 Grafana 的插件目录位置,再进入该插件目录进行安装。
    • 需要安装 Grafana 7.0以上版本才可使用此插件。若 Grafana 版本低于7.0,需进行配置备份和升级,详情请参考 Grafana 升级指南
  2. 在已部署 Grafana 的机器中,打开 grafana.ini 配置文件。
    • MacOS 系统的文件路径:/usr/local/etc/grafana/grafana.ini
    • Linux 系统的文件路径:/etc/grafana/grafana.ini
  3. plugins 中设置 allow_loading_unsigned_plugins 参数。 allow_loading_unsigned_plugins = tencent-cls-grafana-datasource
  4. 执行如下命令,重启 grafana 服务。 service grafana-server restart。

配置日志数据源

  1. 在浏览器中访问以下地址,登录 Grafana。说明: Grafana 的默认端口为3000端口。 http://Grafana IP 地址:3000。
  2. 在左侧菜单栏中,选择设置图标,进入Data Sources 页面。
  3. Data Sources 页面,单击【Add data source】。
  4. 选中【Tencent Cloud Log Service Datasource】,并按照如下说明配置数据源。

配置项说明Security CredentialsSecretId、SecretKey:API 请求密钥,用于身份鉴权。可前往 API 密钥管理 获取地址。Log Service Info

  • region:日志服务区域简称。例如,北京区域填写`ap-beijing`。 完整的区域列表格式请参考 地域列表
  • TopicId:日志主题 ID。

配置 dashboard

  1. 在左侧导航栏中,单击【Creat Dashboards】。
  2. 在 Dashboard 页面,单击【Add new panel】。
  3. 将数据源选择为您新建的日志数据源。如下图所示:
  1. 输入 Query 语句,并根据待展示的图表类型,选择 Format 形式。系统会自动转换数据以满足 Grafana 的展示。Format 格式描述配置项Log panellog panel is used to shown log search result. Query syntax supports searching by keyword, fuzzy match. For more information, see [Syntax and Rules](https://intl.cloud.tencent.com/document/product/614/30439). Eg. status:400limit:用于指定返回日志检索结果条数。Table panleTable panel will automatically show the results of whatever columns and rows your query returnsGraph,Pie,Gauge panelIn this pattern, there is a format transformation where data will be adapted to graph,pie,gauge panel
    • Metrics:待统计指标。
    • Bucket:(选填)聚合列名称。
    • Time : (选填)若 query 返回结果为连续时间数据,则需指定 time 字段。若无,则不填写。

操作示例

时间折线图

时间折线图(Graph) 展示 pv,uv 数据曲线。如下图所示:

您可以根据如下信息进行配置:

饼图

饼图(Pie)展示请求状态码分布。如下图所示:

您可以根据如下信息进行配置:

柱状图,压力图

柱状图,压力图(bar gauge)统计访问延时前10的页面。如下图所示:

您可以根据如下信息进行配置:

表格Table

表格(Table)展示访问量前10的用户。如下图所示:

您可以根据如下信息进行配置:

关键点,需要配置端口服务,以及配置文件,SQL检索的配置,特别注意配置的信息没后期可以配置接入Prometheus的安装,服务地址:http://IP:9090/