日志服务接入方式之loghub log4j appender

Loghub Log4j Appender介绍

Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。最令人感兴趣的就是，这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。

Log4j由三个重要的组件构成：日志信息的优先级，日志信息的输出目的地，日志信息的输出格式。日志信息的优先级从高到低有ERROR、WARN、INFO、DEBUG，分别用来指定这条日志信息的重要程度；日志信息的输出目的地指定了日志将打印到控制台还是文件中；而输出格式则控制了日志信息的显示内容。

使用Loghub Log4j Appender，您可以控制日志的输出目的地为阿里云日志服务，有一点需要特别注意，Loghub Log4j Appender不支持设置日志的输出格式，写到日志服务中的日志的样式如下：

level:ERROR

location:test.TestLog4jAppender.main(TestLog4jAppender.java:18)

message:test log4j appender

thread:main

time:2016-05-27T03:15+0000

level是日志级别，location是日志打印语句的代码位置，message是日志内容，thread是线程名称，time是日志打印时间。

使用Loghub Log4j Appender的好处 客户端日志不落盘：既数据生产后直接通过网络发往服务端。 对于已经使用log4j记录日志的应用，只需要简单修改配置文件就可以将日志传输到日志服务。 异步高吞吐，Loghub Log4j Appender会将用户的日志merge之后异步发送，提高网络IO效率。

Step 1： maven工程中引入依赖。

 dependency 

 groupId com.aliyun.openservices /groupId 

 artifactId log-loghub-log4j-appender /artifactId 

 version 0.1.3 /version 

 /dependency 

Step 2: 修改log4j.properties文件(不存在则在项目根目录创建)，配置根Logger，其语法为：

log4j.rootLogger = [level] , appenderName1, appenderName2, …

其中，level 是日志记录的优先级，优先级从高到低分别是ERROR、WARN、INFO、DEBUG。通过在这里定义的级别，您可以控制到应用程序中相应级别的日志信息的开关。比如在这里定义了INFO级别，则应用程序中所有DEBUG级别的日志信息将不被打印出来。
appenderName就是指定日志信息输出到哪个地方。您可以同时指定多个输出目的地，这里的每个appender会对应到具体某一种appender类型，每种appender都会提供一些配置参数。

使用loghub appender的配置如下：

log4j.rootLogger=WARN,loghub

log4j.appender.loghub = com.aliyun.openservices.log.log4j.LoghubAppender

log4j.appender.loghub.projectName = [you project]

log4j.appender.loghub.logstore = [you logstore]

log4j.appender.loghub.endpoint = [your project endpoint]

log4j.appender.loghub.accessKeyId = [your accesskey id]

log4j.appender.loghub.accessKey = [your accesskey]

配置中中括号内的部分是需要填写的，具体含义见下面的说明。

loghub appender配置参数

Loghub Log4j Appender可供配置的参数如下，其中注释为必选参数的是必须填写的，可选参数在不填写的情况下，使用默认值。

#日志服务的project名，必选参数

log4j.appender.loghub.projectName = [you project]

#日志服务的logstore名，必选参数

log4j.appender.loghub.logstore = [you logstore]

#日志服务的http地址，必选参数

log4j.appender.loghub.endpoint = [your project endpoint]

#用户身份标识，必选参数

log4j.appender.loghub.accessKeyId = [your accesskey id]

log4j.appender.loghub.accessKey = [your accesskey]

#当使用临时身份时必须填写，非临时身份则删掉这行配置

log4j.appender.loghub.stsToken=[your ststoken]

#被缓存起来的日志的发送超时时间，如果缓存超时，则会被立即发送，单位是毫秒，可选参数

log4j.appender.loghub.packageTimeoutInMS=5000

#每个缓存的日志包中包含日志数量的最大值，不能超过4096，可选参数

log4j.appender.loghub.logsCountPerPackage=4096

#每个缓存的日志包的大小的上限，不能超过5MB，单位是字节，可选参数

log4j.appender.loghub.logsBytesPerPackage = 5242880

#Appender实例可以使用的内存的上限，单位是字节，默认是100MB，可选参数

log4j.appender.loghub.memPoolSizeInByte=1048576000

#后台用于发送日志包的IO线程的数量，默认值是1，可选参数

log4j.appender.loghub.ioThreadsCount=1

# 输出到日志服务的时间格式，使用java中SimpleDateFormat格式化时间，默认是ISO8601，可选参数

log4j.appender.loghub.timeFormat=yyyy-MM-ddTHH:mmZ

log4j.appender.loghub.timeZone=UTC

半天掌握日志存储 云启实验室系列课程 第四讲 | 日志服务之告警接入与管理 本教程介绍如何使用日志服务接入NGINX模拟数据，并配置告警规则来对NGINX访问错误进行监控。 专家支持：阿里云日志服务技术专家 寂之
通过Alibaba Cloud Log Log4j Appender采集日志到阿里云日志服务 Log4j是Apache的一个开放源代码项目，通过使用Log4j，您可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；您也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，您能够更加细致地控制日志的生成过程。
X-Pack Spark对接阿里云日志服务LogHub X-Pack Spark分析引擎是基于Spark提供的复杂分析、流式处理、机器学习的能力。Spark分析引擎可以对接阿里云的多种数据源，例如：云HBase数据库、MongoDB、Phoenix等，同时也支持对接阿里云日志服务LogHub。
Java技术周刊第9期：自定义log4j的appender写es日志 Java的开发者们：云栖社区已有5000位Java开发者，发布了30000+Java文章（文章列表），沉淀了7000+的Java精品问答（问答列表）。 Java技术周刊将会为大家介绍最新的Java技术与动态、预告活动、最热问答、直播教程等，欢迎大家订阅Java技术周刊。
自定义log4j的appender写es日志 本篇和大家分享的是自定义log4j的appender，用es来记录日志并且通过kibana浏览es记录；就目前互联网或者一些中大型公司通常会用到第三方组合elk，其主要用写数据到es中，然后通过可视化工具kibana来做直观数据查看和统计；本篇内容节点如下： docker快速搭建es，es he...
日志服务（原SLS）新功能发布(3)--多实例协同消费库(loghub client library) loghub client library是对LogHub消费者提供的高级模式，解决多个消费者同时消费logstore时自动分配shard问题。 例如在storm、spark场景中多个消费者情况下，自动处理shard的负载均衡，消费者failover等逻辑。用户只需专注在自己业务逻辑上，而无需关心
阿里云存储服务 193985 阿里云存储基于飞天盘古2.0分布式存储系统，产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等，充分满足用户数据存储和迁移上云需求，连续三年跻身全球云存储魔力象限四强。