天翼云数据湖探索-为您提供云端大数据计算分析服务
天翼云数据湖探索-为您提供云端大数据计算分析服务
成为天翼云VIP客户免费试用天翼云数据湖探索,天翼云VIP客户免费申请注册地址:9i0i.cn/ctyun,天翼云VIP客户免费申请中文网址:天翼云VIP注册.来吧.我爱你
天翼云数据湖探索具有如下优势:
数据湖探索完全兼容Apache Spark、Apache Flink生态和接口,是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云,减少迁移工作量。采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。产品内核及架构深度优化,综合性能是传统MapReduce模型的百倍以上,SLA保障99.95%可用性。存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本。
图1 DLI Serverless架构
与传统自建Hadoop集群相比,Serverless架构的数据湖探索还具有以下优势:
表1 数据湖探索与传统自建Hadoop集群对比的优势
优势 |
维度 |
数据湖探索 |
自建Hadoop系统 |
低成本 |
资金成本 |
按照实际扫描数据量或者CU时收费,可变成本,成本可节约50%。 |
长期占用资源,资源浪费严重,成本高。 |
弹性扩缩容能力 |
基于容器化Kubernetes,具有极致的弹性伸缩能力。 |
无。 |
|
免运维 |
运维成本 |
即开即用,Serverless架构。 |
需要较强的技术能力进行搭建、配置、运维。 |
高可用 |
具有跨AZ容灾能力。 |
无 |
|
高易用 |
学习成本 |
学习成本低,包含10年、上千个项目经验固化的调优参数。同时提供可视化智能调优界面。 |
学习成本高,需要了解上百个调优参数。 |
支持数据源 |
|
|
|
生态兼容 |
DLV、Tableau、Superset、永洪BI、帆软。 |
大数据生态工具。 |
|
自定义镜像 |
支持,满足业务多样性。 |
无。 |
|
工作流调度 |
DGC-DLF调度。 |
自建大数据生态的调度工具,如Airflow。 |
|
企业级多租户 |
基于表的权限管理,可以精细化到列权限。 |
基于文件的权限管理。 |
|
高性能 |
性能 |
基于软硬件一体化的深度垂直优化。 |
大数据开源版本性能。 |
数据湖探索具有如下应用场景:
海量日志分析
• 游戏运营数据分析
游戏公司不同部门日常通过游戏数据分析平台,分析每日新增日志获取所需指标,通过数据来辅助决策。例如:运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等,了解游戏当前状态及后续响应活动措施;投放部门通过平台获取新增玩家、活跃玩家的渠道来源,来决定下一周期重点投放哪些平台。
• 优势
o 高效的Spark编程模型:使用Spark Streaming直接从DIS中获取数据,进行数据清理等预处理操作。只需编写处理逻辑,无需关心多线程模型。
o 简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。
o 按需计费:日志分析按实效性要求按周期进行调度,每次调度之间存在大量空闲期。数据湖探索按需计费只在使用期间收费,成本较独占队列降低50%以上。
异构数据源联邦分析
• 车企数字化服务转型
面临市场新的竞争压力及出行服务不断变革,车企通过构建车联云平台和车机OS,将互联网应用与用车场景打通,完成车企数字化服务转型,从而为车主提供更好的智联出行体验,增加车企竞争力,促进销量增长。例如:通过对车辆日常指标数据(电池、发动机,轮胎胎压、安全气囊等健康状态)的采集和分析,及时将维保建议回馈给车主。
• 优势
o 多源数据分析免搬迁:关系型数据库RDS中存放车辆和车主基本信息,表格存储CloudTable中存放实时的车辆位置和健康状态信息,数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁,对多数据源进行联邦分析。
o 数据分级存储:车企需要保留全量历史数据支撑审计类等业务,低频进行访问。温冷数据存放在低成本的对象存储服务OBS上,高频访问的热数据存放在数据引擎中,降低整体存储成本。
o 告警快速敏捷触发服务器弹性伸缩:对CPU、内存、硬盘空间和带宽无特殊要求。
成为天翼云VIP客户免费试用天翼云数据湖探索,天翼云VIP客户免费申请注册地址:9i0i.cn/ctyun,天翼云VIP客户免费申请中文网址:天翼云VIP注册.来吧.我爱你
你还在原价购买阿里云、腾讯云、华为云、天翼云产品?那就亏大啦!现在申请成为四大品牌云厂商VIP用户,可以3折优惠价购买云服务器等云产品,并且可享四大云服务商产品终身VIP优惠价,还等什么?赶紧点击下面对应链接免费申请VIP客户吧:
相关文章
- 超级高铁来了!时速近1000公里/时,马斯克说单程费用只需一美元
- 江西瑞声电子刘熙民:以技术立足TWS耳机行业,踏准消费电子转型步伐 | 镁客·请讲
- 储能行业:锂、钠、镁电池的「新战场」
- 泰芯半导体唐振中:万物互联时代将至,「Wi-Fi HaLow芯片」大有可为 | 镁客·请讲
- AI能力再度升级!科大讯飞再谈「超脑2030计划」,展望「机器人」无限未来
- 获取豆瓣电影 top250 的内容(附完整代码)
- 神舟十五号载人飞船成功发射!6名航天员「会师天宫」
- IP地址翻译成实际的物理地址
- 字符串实践常见问题总结
- 一文详解GNN最新研究方向
- 致远互联张浩:信创背景下,「协同运营平台」开启成长新曲线 | 镁客·请讲
- 对话南大智慧城市:技术之外,智慧城市建设还需要人、土地和投融资 | 镁客·请讲
- 「中国芯」提速!首个国产「小芯片」标准发布,专家这样说
- 中电金信曲向阳:将「敏捷」和「精益」融入企架,提升金融服务应用效能
- 技术汇总:第十八章:枚举的简单使用
- 灵犀微光陈飞:AR短期仍将深耕B端,光学模组会成为「胜负手」 | 镁客·请讲
- Flowable 设置任务处理人的四种方式
- Win7/2008R2 蓝屏0x0000007e
- 有了这个网站,妈妈再也不用担心我找不到好看的配图了!
- 网站长辅助工具:违规违禁关键词过滤