zl程序教程

您现在的位置是:首页 >  数据库

当前栏目

大数据技术周报(2022年11月第一期)

2023-02-25 18:27:12 时间

来看看近期大数据领域都发生了哪些新鲜事儿?

Spark

Spark 3.3.1 于 2022年10月25日发布

Spark 3.3.1是一个包含稳定性修复的维护版本。该版本基于Spark的branch-3.3维护分支。强烈建议所有3.3用户升级到这个稳定版本。

Release Notes:https://spark.apache.org/releases/spark-release-3-3-1.html

RocketMQ

Apache RocketMQ 5.0.0 正式版 于2022年9月22日发布

RocketMQ 5.0.0 是有重大架构调整的版本,主要特性支持包括:服务器端重平衡和轻量级消费者客户端,从属代理主模式,支持 gRPC 协议以及DLedger控制器等。

Release Notes:https://rocketmq.apache.org/release-notes/2022/09/09/5.0.0/

Pulsar

Apache Pulsar 2.10.2 于2022年10月24日发布

Release Notes:https://pulsar.apache.org/release-notes/versioned/pulsar-2.10.2/

Kylin

Apache Kylin 4.0.2 于2022年10月10日发布

主要特性发布:支持基数统计,支持 postgresql 存储 kylin 元数据,为 devops 设置特定的查询 id,支持Alluxio Local Cache + Soft Affinity,加速云端查询性能。

Release Notes:https://kylin.apache.org/docs/release_notes.html

Impala

Apache Impala 4.1.1 于2022年10月20日发布

Release Notes:https://impala.apache.org/docs/changelog-4.1.1.html

Hudi

Apache Hudi 0.12.1 于2022年10月19日发布

Release Notes:https://hudi.apache.org/releases/release-0.12.1/

Doris

Apache Doris 1.1.3 于2022年10月17日发布

此版本是 1.1 的错误修复版本,鼓励所有用户升级到此版本。主要特性:支持 ODBC 表中 sqlserver 和 postgresql 的转义标识符,可以使用 Parquet 作为输出文件格式。

Release Notes:https://doris.apache.org/blog/release-1.1.3

DolphinScheduler

DolphinScheduler 2.0.7 于2022年10月24日发布,3.0.1 于2022年9月30日发布

2.0.7 Release Notes:https://dolphinscheduler.apache.org/en-us/blog/Apache_DolphinScheduler_2.0.7.html

3.0.1 Release Notes:https://dolphinscheduler.apache.org/en-us/blog/Apache_dolphinScheduler_3.0.1.html

Airflow

Apache Airflow 2.4.2 于2022年10月24日发布

Release Notes:https://airflow.apache.org/docs/apache-airflow/2.4.2/release_notes.html#airflow-2-4-2-2022-10-23

Elasticsearch

Elasticsearch 8.5.0 于2022年11月2日发布

相对于 8.4 有一些 Breaking changes, 主要是废弃了很多API,也新增了很多新特性如添加稳定的 Plugin API 模块和分析接口,并且内置JDK升级到了JDK19.

Release Notes:https://www.elastic.co/guide/en/elasticsearch/reference/8.5/release-notes-8.5.0.html#feature-8.5.0