《能源地图》:阿里云数加MaxCompute轻松处理8000亿条气象数据
免费开通大数据服务:https://www.aliyun.com/product/odps
十三五期间伴随能源互联网的建设,能源大数据及云计算能力长足发展,圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用, 什么是能源地图:
能源地图
1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。具体说:根据能源种类,如煤炭、石油、天然气、水能、地热、太阳能、风能等,可以分别编制按能量和品种、质量分级的资源分布图,按开采和加工规模分级的能源工业企业分布图,按流向、流量表示的能源输送图,以销售数量和范围或人均消费量表示的能源消费分布图等。
2、可以全面、系统地表达资源、生产、输送、消费4方面的内容,有助于对能源地理的研究,并可为能源开发规划的制订服务。从综合研究的角度开发,可对一个国家的能源总体,做出各地资源构成和开采条件评价图、能源生产构成分布图、能源消费结构分布图、能源经济区划图以及能源基地综合发展规划图等。
在新能源领域,创建能源地图第一步:是拥有一套《新能源气候资源服务可视化平台》:即形成能源地图的气候资源图(太阳辐射、风速风日分布等)。本质上,能源地图既是经济地图的一部分,又与专题地图有较密切的关系,建立一套《气候资源服务可视化平台》,可以在此基础上建立如电网规划和远景预测图、如水力资源图、工业地图、交通运输地图、环境保护地图等。
气候资源服务可视化平台—风资源图:
气候资源服务可视化平台—光资源图:
能源地图应用场景
如能源地图在《能量魔方政府版》中得到充分使用:系统充分利用《气候资源服务可视化平台》结合国土、林业、电网、城市规划等多方权威数据,对城市未来新能源发展进行合理规划,开发规划为政府提供了项目可视化,便于准确定位项目地理位置、占地面积、开发容量和电网接入变电站等信息查询。
在2017年SNEC展会期间,北京能量魔方数据技术有限公司展示的“气象大师”平台也吸引了业内多数人士前来咨询。实际《气象大师》就是一款典型的气候资源服务可视化平台,可以帮助各类新能源企业建立自己的能源地图。
在展会交流中,大家讨论比较多的光资源(如年总辐射、年日照小时数)等数据的精确度和对标问题。从以下几个方面体现:
《气象大师》数据对标升级
气象大师在SNECE会议上展现的数据:通过东润集团公司近400座地面观测站观测数据、SolarGIS平台、国家气象中心数据等三组数据做对标处理。在全国范围选取4349个点进行同经纬度、同时间段、同物理变量(水平总辐射)对标,且做对标后订正。基于观测数据在全国的分布特点(西藏和港澳台除外),利用4349个观测数据对气象大师光资源数据进行的订正升级,最大程度的反映了各地实际历史光资源分布状况。
绿色为气象大师数据,蓝色为观测数据,红色为SolarGIS数据
订正后局部放大图
《气象大师》数据存储升级
《气象大师》所有的数据源来自于1*1公里30年东润自制的原始气象数据NC文件,在阿里大数据计算平台上完成解析、汇总及统计处理的结果数据。
风资源和光资源原始气象NC文件共计131400个,在阿里云OSS共占用空间45T,约1.7万亿记录。
风资源和光资源解析后汇总处理后形成的大数据表共有近8000亿条记录,在阿里云大数据平台MaxCompute中存储,占用空间25T。
阿里云大数据平台MaxCompute对汇总的大数据表计算处理后产生的结果数据提供给能量魔方应用,如其他应用需要此类数据可以共享使用。最终汇总的风资源大表记录数约是7000亿条,MaxCompute存储容量是23T。
风资源原始气象NC文件共计114975个,全国分西北,东北,中部3个区,每个区每天有7个指标文件,包括温度,压强,湿度,风速,风向,AOD,10米光伏。每类气象指标在MaxCompute表每天数据量是2亿条。光资源原始气象NC文件共计16425个,全国分西北,东北,中部3个区,每个区每天有一个光伏文件。
2015年11.12日正式入驻阿里云数据市场,双方联合推出针对新能源的专属数据服务产品:资源评估、气象服务、高精度数据下载三项气象数据产品,此次数据市场的产品入驻作为与阿里云共建能源云的合作内容之一,具有里程碑意义,以大数据为代表的互联网创新理念与新能源发展当中的切实应用需求结合起来,推动虚拟世界和现实世界融合发展,促进新以行业产、管理、经营模式变革,重塑产业价值链。
最后需要告诉大家的是,升级后的《气象大师》数据,于5月6号已全面对外开放,从风光资源评估到风光气象预报的所有专业报告继续免费下载!
【下载地址:www.bjnlmf.net】
能量魔方公司介绍
北京能量魔方数据技术有限公司是北京东润环能科技股份有限公司(股票代码:831083)全资子公司,为实现集团公司能源互联网转型战略,专注以云计算、能源大数据和产业金融打造能源互联网业务服务平台,服务于分布式能源供给侧和新能源消费侧的互联互通为使命,为社会,企业和消费用户提供创新的分布式能源增值服务,从而推动真正意义的“人人享用清洁智慧能源”。
在政府领域:能量魔方拥有专业的可再生能源规划咨询、系统开发及数据处理团队,建立基于能源大数据技术,精确需求导向的可再生能源发展专项规划、项目管理新模式,提升政府对可再生能源重大基础设施规划的科学决策水平;
在企业领域:能量魔方以“互联网+智慧能源”城市示范项目业务服务平台建设为支撑,拥有城市可再生能源规划、投资建设、金融服务、项目运营、电网调度管理的成功经验,帮助企业制定有效的项目节点监管及控制的管理平台。
在消费领域:能量魔方以移动互联网+产业大数据中心为依托,应用资源卫星、地理信息、气象资源、绿建节能、土地规划、企业征信、电网规划、行业用能、手机信令等大数据采集、处理、分析与挖掘,为分布式资源业主及投资开发商实现资源识别、开发建设、投资评估的生态化服务体系。
转载:新能源门-王雅明公众号
《阿里云MaxCompute百问百答》电子版地址 为了更好地帮助广大MaxCompute用户解决可能遇到的问题,阿里云 MaxCompute团队基于MaxCompute开发者社区和其它渠道反馈的问题,总结归纳 出MaxCompute各个功能点的常见问题,希望可以给正在学习和使用MaxCompute 的用户提供一些帮助。
阿里云 MaxCompute 阿里云 MaxCompute自制脑图, MaxCompute 是一种全新的大数据计算服务。它能提供快速完全托管的 PB 级仓库解决方案,让你不用花费大量成本建数据中心,就能分析处理高达 PB 级的海量数据。
《阿里云MaxCompute百问百答》电子版地址下载 为了更好地帮助广大MaxCompute用户解决可能遇到的问题,阿里云 MaxCompute团队基于MaxCompute开发者社区和其它渠道反馈的问题,总结归纳 出MaxCompute各个功能点的常见问题,希望可以给正在学习和使用MaxCompute 的用户提供一些帮助。
基于阿里云Maxcompute搭建商业广告数据分析系统 互联网时代,信息流广告越来越多。而信息流广告的投放以大数据测算为依托,同样的数据,不同的解读方式,在进行投放指导时会产生不同的效果。
基于阿里云Maxcompute搭建广告策略的多维实时洞察方案 本次分享的主题为广告策略工程架构体系演进,将介绍广告在从0到1,从1到 N 的过程中,广告架构是如何支持策略、算法、模型迭代的,包括以下几部分:概述、广告策略工程架构体系演进、精益驱动思想工具:“两翼计划”。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
隐林 阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
相关文章
- 阿里开源 Redis 数据迁移工具
- 阿里云邮箱怎么注册
- 揭秘阿里数据中台:双11当日调用超75亿次
- 阿里云开源项目 OAM 负责人张磊入选「中国开源先锋 33 人」
- MySQL如何实时同步数据到ES?试试这款阿里开源的神器!
- 【阿里云资讯】太极股份携手阿里云,共谋政务云与大数据事业
- 2016阿里云121款产品和解决方案全向图(9月制)
- 将在线数据加载到阿里云Greenplum
- 阿里云开源大数据内核团队招聘人才
- 双11来临,阿里云大数据(数加)会出哪些绝招?
- 在阿里云容器服务中使用NAS(NFS)数据卷
- 德勤、阿里为数据智能时代造势,是风口还是韭菜?
- kafka如何实现高并发存储-如何找到一条需要消费的数据(阿里)
- 面试- 阿里-. 大数据题目- 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?
- Atitit 微信小程序的部署流程文档 目录 1.1. 设置https 参照 Atitit tomcat linux 常用命令1 1.2. 增加证书 腾讯云和阿里云都可申请免费证书,但要一天
- 《阿里云科技评论》第一期
- 阿里云数据库Greenplum版发布啦
- 阿里云Redis LUA脚本功能上线——轻量嵌入,极速扩展,业务轻松跨平台
- 【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路
- 语义分析的waf 目前就看到长亭 机器学习的waf有fortnet 阿里云的waf也算
- 德勤、阿里为数据智能时代造势,是风口还是韭菜?
- 阿里云RDS数据库基于DTS进行数据迁移(二十四)
- 阿里云ECS服务器的基本管理与磁盘扩容(五)