日志服务（原SLS）新功能发布(13)--Logtail支持自定义标识自动扩容机器组

日志服务提供多种途径帮助用户方便快速写入日志数据到指定日志库，具体包含Logtail客户端、各种语言SDK、TrackingPixel以及REST API等方式，详细描述请参考文档“如何写入日志”。 其中Logtail客户端支持快速接入单行、JSON、分隔符等多种日志文件格式以及syslo

日志服务提供多种途径帮助用户方便快速写入日志数据到指定日志库，具体包含Logtail客户端、各种语言SDK、TrackingPixel以及REST API等方式，详细描述请参考文档“如何写入日志”。

其中Logtail客户端支持快速接入单行、JSON、分隔符等多种日志文件格式以及syslog协议（常见日志收集配置），并且提供80MB/s的大吞吐量，同时性能相比同类工具有10倍提升仅消耗15%的资源（评测文档）。

Logtail客户端使用的一般流程包括三个步骤：创建机器组管理日志数据所在机器、创建日志收集配置、绑定日志收集配置与指定机器组。其中“创建机器组”的默认模式需要用户填写机器（常见为ECS虚拟机，非ECS虚拟机可以参考文档）IP列表，但是在实际使用中机器组机器经常会发生变化，如果没有及时同步更新，新增加的机器无法收集日志，针对这类扩容机器日志问题日志服务发布“自定义机器标识”功能。

常见的系统通常由多个模块组成，每个模块可以包含多台机器，比如常见网站分为前端HTTP请求处理模块，缓存模块，逻辑处理模块和存储模块，每部分都可以进行单独的水平扩展，因此在新增机器时需要能够实时进行日志采集。

1）创建用户自定义标识

安装完成Logtail客户端后（安装文档），对于示例场景中的模块可以分别分成4类机器标识（http_module/cache_module/logic_module/store_module），并在机器上根据不同机器的作用分别创建指定标识文件。

2）创建机器组

创建机器组时“机器组标识”选择“用户自定义标识”，按照模块分类创建4个机器组，并在下方“用户自定义标识”输入框中填入上一步中机器本地创建自定义标识。“http_module”机器组如下图所示：

完成上述步骤后，可以在机器组“查看状态”中查看使用相同自定义标识的机器列表及其心跳状态，如下图：

根据上图可以看到10.1.1.1和10.1.1.2两台拥有相同的机器标识，同时两台机器也会同步机器组“http-machine-group”应用的配置。

3）扩容机器

当模块需要扩容机器时，比如前端模块增加机器10.1.1.3，只需要完成步骤1）和2）完成Logtail安装和创建自定义标识为http_module的文件即可自动同步不同机器组的配置，成功执行操作后可以在机器组“查看状态”中看到新增机器。

如果需要在模块中再对机器组进行分类，比如前端模块分别为vip用户normal用户服务，可以使用“机器组Topic”功能设置不同的topic属性，具体使用方式可以参考Logtail配置支持主题（Topic）设置功能。

更多日志服务内容请关注产品主页，在日志处理圈子中交流。

阿里云日志服务（SLS）SQL案例中心发布 阿里云日志服务（SLS）提供大规模日志实时查询与分析能力（LogSearch/Analytics），支持完整SQL92标准（提供restful 和 jdbc两种协议），除基本聚合功能外，支持完整的SQL计算，并支持外部数据源联合查询（Join）、机器学习、模式分析等函数。
日志服务（SLS）数据加工功能发布 日志服务用户，您好！ 针对日志生命周期内存在的各种数据规整、分发、富化、清洗场景需求，阿里云日志服务（SLS）新推出了“数据加工”功能。 推荐在日志服务上进行数据规整、加工或联合其它数据源做分析的数据工程师使用。
新功能：日志服务IPython/Jupyter Notebook扩展发布 日志服务发布IPython/Jupyter Notebook扩展，可以轻松地使用Python对海量数据进行深度加工（ETL）、交互式分析（通过SQL、DataFrame）、机器学习与可视化等。
新功能：日志服务命令行工具ETL发布！ 日志服务命令行工具ETL发布，解决数据采集、分析查询、投递归档、外部整合过程中的数据规整痛点，提供实时、可靠、可扩展、可管理的运行模式支持，以及全面简单的ETL规则，并支持丰富的扩展支持。
阿里云CDN实时日志服务正式发布 数据驱动 实时决策 12月26日，阿里云CDN实时日志服务举办线上直播发布会，全网首次深度解读阿里云CDN大数据系统技术演进，产品应用场景与业务实操。阿里云CDN实时日志服务可以将CDN采集的实时日志，在小于60秒的时间进行实时、交互式分析和报表呈现，为监控、报警、渠道分析、运营分析提供实时、可靠的数据参考。
阿里云存储服务 193985 阿里云存储基于飞天盘古2.0分布式存储系统，产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等，充分满足用户数据存储和迁移上云需求，连续三年跻身全球云存储魔力象限四强。