zl程序教程

您现在的位置是:首页 >  其他

当前栏目

《能源地图》:阿里云数加MaxCompute轻松处理8000亿条气象数据

阿里数据 处理 轻松 地图 能源 MaxCompute 亿条
2023-09-11 14:15:59 时间
十三五期间伴随能源互联网的建设,能源大数据及云计算能力长足发展,圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用, 什么是能源地图: 1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。

免费开通大数据服务:https://www.aliyun.com/product/odps


十三五期间伴随能源互联网的建设,能源大数据及云计算能力长足发展,圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用, 什么是能源地图:


能源地图


1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。具体说:根据能源种类,如煤炭、石油、天然气、水能、地热、太阳能、风能等,可以分别编制按能量和品种、质量分级的资源分布图,按开采和加工规模分级的能源工业企业分布图,按流向、流量表示的能源输送图,以销售数量和范围或人均消费量表示的能源消费分布图等。


2、可以全面、系统地表达资源、生产、输送、消费4方面的内容,有助于对能源地理的研究,并可为能源开发规划的制订服务。从综合研究的角度开发,可对一个国家的能源总体,做出各地资源构成和开采条件评价图、能源生产构成分布图、能源消费结构分布图、能源经济区划图以及能源基地综合发展规划图等。


 

在新能源领域,创建能源地图第一步:是拥有一套《新能源气候资源服务可视化平台》:即形成能源地图的气候资源图(太阳辐射、风速风日分布等)。本质上,能源地图既是经济地图的一部分,又与专题地图有较密切的关系,建立一套《气候资源服务可视化平台》,可以在此基础上建立如电网规划和远景预测图、如水力资源图、工业地图、交通运输地图、环境保护地图等。  

 

气候资源服务可视化平台—风资源图:


3654cbcefb164366bd5906281f613b688741f97f


气候资源服务可视化平台—光资源图:


ecdc92af7cb1181c349b08bc53fe51c14bba54fa


能源地图应用场景


如能源地图在《能量魔方政府版》中得到充分使用:系统充分利用《气候资源服务可视化平台》结合国土、林业、电网、城市规划等多方权威数据,对城市未来新能源发展进行合理规划,开发规划为政府提供了项目可视化,便于准确定位项目地理位置、占地面积、开发容量和电网接入变电站等信息查询。



a55f9802221b958fc300ad7fed020bbf31b2a17f


在2017年SNEC展会期间,北京能量魔方数据技术有限公司展示的“气象大师”平台也吸引了业内多数人士前来咨询。实际《气象大师》就是一款典型的气候资源服务可视化平台,可以帮助各类新能源企业建立自己的能源地图。

 

40032d5ecce1ca5ccfa0f6a9372b4a98825a0632


在展会交流中,大家讨论比较多的光资源(如年总辐射、年日照小时数)等数据的精确度和对标问题。从以下几个方面体现:


《气象大师》数据对标升级


气象大师在SNECE会议上展现的数据:通过东润集团公司近400座地面观测站观测数据、SolarGIS平台、国家气象中心数据等三组数据做对标处理。在全国范围选取4349个点进行同经纬度、同时间段、同物理变量(水平总辐射)对标,且做对标后订正。基于观测数据在全国的分布特点(西藏和港澳台除外),利用4349个观测数据对气象大师光资源数据进行的订正升级,最大程度的反映了各地实际历史光资源分布状况。


e4e8ca722c3823271d2d925871f18cdc3010587d

绿色为气象大师数据,蓝色为观测数据,红色为SolarGIS数据


507f7fc0e62ed634e3974d3ea32caa1cc9ce2b87

订正后局部放大图


be18017d491c8ae1570d956d8cfecac56768e758

《气象大师》数据存储升级


《气象大师》所有的数据源来自于1*1公里30年东润自制的原始气象数据NC文件,在阿里大数据计算平台上完成解析、汇总及统计处理的结果数据。



风资源和光资源原始气象NC文件共计131400个,在阿里云OSS共占用空间45T,约1.7万亿记录。



 风资源和光资源解析后汇总处理后形成的大数据表共有近8000亿条记录,在阿里云大数据平台MaxCompute中存储,占用空间25T。



阿里云大数据平台MaxCompute对汇总的大数据表计算处理后产生的结果数据提供给能量魔方应用,如其他应用需要此类数据可以共享使用。最终汇总的风资源大表记录数约是7000亿条,MaxCompute存储容量是23T。



风资源原始气象NC文件共计114975个,全国分西北,东北,中部3个区,每个区每天有7个指标文件,包括温度,压强,湿度,风速,风向,AOD,10米光伏。每类气象指标在MaxCompute表每天数据量是2亿条。光资源原始气象NC文件共计16425个,全国分西北,东北,中部3个区,每个区每天有一个光伏文件。




2015年11.12日正式入驻阿里云数据市场,双方联合推出针对新能源的专属数据服务产品:资源评估、气象服务、高精度数据下载三项气象数据产品,此次数据市场的产品入驻作为与阿里云共建能源云的合作内容之一,具有里程碑意义,以大数据为代表的互联网创新理念与新能源发展当中的切实应用需求结合起来,推动虚拟世界和现实世界融合发展,促进新以行业产、管理、经营模式变革,重塑产业价值链。



c68db505cfe326e80f7cfee2fd48eb8334b7f795


最后需要告诉大家的是,升级后的《气象大师》数据,于5月6号已全面对外开放,从风光资源评估到风光气象预报的所有专业报告继续免费下载!

【下载地址:www.bjnlmf.net】


能量魔方公司介绍


 北京能量魔方数据技术有限公司是北京东润环能科技股份有限公司(股票代码:831083)全资子公司,为实现集团公司能源互联网转型战略,专注以云计算、能源大数据和产业金融打造能源互联网业务服务平台,服务于分布式能源供给侧和新能源消费侧的互联互通为使命,为社会,企业和消费用户提供创新的分布式能源增值服务,从而推动真正意义的“人人享用清洁智慧能源”。


在政府领域:能量魔方拥有专业的可再生能源规划咨询、系统开发及数据处理团队,建立基于能源大数据技术,精确需求导向的可再生能源发展专项规划、项目管理新模式,提升政府对可再生能源重大基础设施规划的科学决策水平;


在企业领域:能量魔方以“互联网+智慧能源”城市示范项目业务服务平台建设为支撑,拥有城市可再生能源规划、投资建设、金融服务、项目运营、电网调度管理的成功经验,帮助企业制定有效的项目节点监管及控制的管理平台。


在消费领域:能量魔方以移动互联网+产业大数据中心为依托,应用资源卫星、地理信息、气象资源、绿建节能、土地规划、企业征信、电网规划、行业用能、手机信令等大数据采集、处理、分析与挖掘,为分布式资源业主及投资开发商实现资源识别、开发建设、投资评估的生态化服务体系。


转载:新能源门-王雅明公众号


《阿里云MaxCompute百问百答》电子版地址 为了更好地帮助广大MaxCompute用户解决可能遇到的问题,阿里云 MaxCompute团队基于MaxCompute开发者社区和其它渠道反馈的问题,总结归纳 出MaxCompute各个功能点的常见问题,希望可以给正在学习和使用MaxCompute 的用户提供一些帮助。
阿里云 MaxCompute 阿里云 MaxCompute自制脑图, MaxCompute 是一种全新的大数据计算服务。它能提供快速完全托管的 PB 级仓库解决方案,让你不用花费大量成本建数据中心,就能分析处理高达 PB 级的海量数据。
《阿里云MaxCompute百问百答》电子版地址下载 为了更好地帮助广大MaxCompute用户解决可能遇到的问题,阿里云 MaxCompute团队基于MaxCompute开发者社区和其它渠道反馈的问题,总结归纳 出MaxCompute各个功能点的常见问题,希望可以给正在学习和使用MaxCompute 的用户提供一些帮助。
基于阿里云Maxcompute搭建商业广告数据分析系统 互联网时代,信息流广告越来越多。而信息流广告的投放以大数据测算为依托,同样的数据,不同的解读方式,在进行投放指导时会产生不同的效果。
基于阿里云Maxcompute搭建广告策略的多维实时洞察方案 本次分享的主题为广告策略工程架构体系演进,将介绍广告在从0到1,从1到 N 的过程中,广告架构是如何支持策略、算法、模型迭代的,包括以下几部分:概述、广告策略工程架构体系演进、精益驱动思想工具:“两翼计划”。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
隐林 阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;