zl程序教程

您现在的位置是:首页 >  IT要闻

当前栏目

全球尺度遥感云计算平台:Google Earth Engine

2023-04-18 16:54:08 时间

Google Earth Engine(GEE) 是一个基于 Google 云服务基础设施的遥感大数据分析平台,它结合 Google 强大的云计算能力与 NASA、ESA、NOAA 等机构的空间数据,用于在全球尺度解决一些非常重要的社会问题:森林退化、粮食安全、灾害预警、水资源管理、气候监测以及环境保护等。

GEE 官方宣传视频(版权归 Google 所有)

Spacefan 的视频

 · 303 播放

发展背景

2008 年,手握 40 多年 LandSat 数据的美国地质调查局(USGS)逐步将自 1972 年以来的所有 LandSat 存档数据免费向公众开放,成为开放遥感数据的急先锋。随后 ESA 哥白尼计划下的 Sentinel-1/2/3/5、NOAA 的 MODIS 等卫星项目产生的空间数据加入免费大军,为 GEE 的出现奠定了数据基础。

2011 年,Google 决定放弃对 Google Earth Enterprise 的深入开发,转而协同卡耐基梅隆大学、NASA、USGS 的技术人员一起设计更具技术前瞻性的 Google Earth Engine。两款产品都简称 GEE,但却代表了 Google 在不同时期对地球科学与遥感大数据的认知。

2012 年,Goodchild 等人 提出,“卫星以及地面传感器所提供的地理信息数据量的迅速增长,正在鼓励产生一种新的、第四类的、大数据的科学范式,这种范式强调国际间合作、数据密集型分析、巨大的计算资源以及高端的可视化方式”。至此,地理信息云计算的概念逐渐浮出水面。

2013 年,GEE 作为 Google 内部孵化项目,开始在行业内曝光,并积极寻求与外部的合作。

2015 年,GEE 公测上线,在全球遥感与地理信息行业产生较大反响,标志着遥感云计算时代的正式到来。

2016 年,GEE 开发团队在一年内人员数量翻倍,在 Google Cloud Platform(GCP)的助力之下,开始为新兴的商业遥感应用提供解决方案。

2017 年,Google 正式开源 Google Earth Enterprise,简称 OpenGEE,由社区驱动开发与技术维护。同年,GEE 团队发布论文 Google Earth Engine: Planetary-scale geospatial analysis for everyone,全面介绍了 GEE 出现的时代背景、平台架构、数据集、基本语法、计算效率以及未来的挑战,引起国内外科研单位及相关从业人员的广泛关注,GEE 逐渐被大家应用于实际科研与生产之中。

技术特点

GEE 结合了 PB 级卫星影像和地理空间数据集,以及全球尺度的分析功能,使科学家、研究人员和开发人员可以使用它来监测变化,绘制趋势并量化地球表面的差异。

GEE 基于 Google Cloud 架设,最底层为数据存储,包括 20 级栅格和 22 级矢量瓦片数据,Fusion Table 已经弃用;第二层为云计算层,分为即时响应计算和批量计算;第三层为网络化的 REST(Representational State Transfer,表现层状态转换)APIs 服务;第四层为客户端库,用 JavaScript 和 Python 解析 REST APIs,可称为 JavaScript API 和 Python API;顶层为交互层,JavaScript API 对应 Code Editor,Python API 对应三方开发的网页或本地应用。

GEE 系统架构

得益于 Google 良好的底层技术生态,GEE 的应用潜力逐渐被众多用户挖掘。尤其在近来来迅猛发展的人工智能技术领域,GEE Python API 可无缝与 TensorFlow 框架相结合,实现智能遥感大数据分析。

综上所述,GEE 具有如下鲜明的技术特点:

  • 海量的多源数据:GEE 汇集 PB 级海量地理信息空间数据,包括卫星遥感、航空遥感、基础地理信息以及可直接使用的高级应用产品等数据。
  • 超强的云端计算:GEE 基于 Google 云服务平台架设,并行处理分析任务,计算资源近乎无限,无需考虑硬件成本。
  • 规范的用户接口:GEE 提供基于 JavaScript 和 Python 语言的双重用户接口,对众多数据处理的函数实现规范化封装,极大程度较低了用户的学习门槛。
  • 良好的开发生态:GEE 自上线伊始就极为重视开发生态的发展,官方丰富的开发文档、科研项目基金的支持、活跃的开发社区以及不定期开发者大会的组织等,为 GEE 的发展注入了强劲的活力。
  • 免费的服务平台:GEE 的使用完全免费,仅对数据导出有所限制。

数据集

GEE 包含 PB 级海量地理信息空间数据,主要有:

  • 超过 40 年的 LandSat 系列卫星影像:星下点重访周期 16 天,最新的 LandSat-8 卫星为 11 谱段多光谱数据。
  • Sentinel-1/2/3/5 卫星遥感数据:Sentinel-1 为 C 波段 SAR 数据;Sentinel-2 为 13 谱段多光谱数据;Sentinel-3 为海洋与陆地观测卫星,通过海洋和陆地彩色仪器(OLCI)、海洋和陆地表面温度辐射计(SLSTR)、合成孔径雷达高度计(SRAL)、微波辐射计(MWR)和精密定轨(POD)仪器实现高精度海面地形、海陆表面温度、海陆表面颜色遥感与测量,以支持海洋预报系统、海陆环境与气象监测等科学任务;Sentinel-5 为大气测量卫星,用于空气质量、臭氧和紫外线辐射以及气候监测和预报。
  • MODIS 中等分辨率遥感影像数据:具有 36 个谱段,最高分辨率为 250 m,一天可实现两次全球覆盖。
  • 高分辨率航空遥感影像:1 m 分辨率高清航空遥感影像,仅覆盖美国本土。
  • 基础地理信息数据:全球地形数据、气象数据、矢量数据等。
  • 应用产品数据:地表覆盖数据、夜光数据、耕地数据、NDVI 数据、EVI 数据、LAI 数据等。

官方统计,GEE 数据中心包含超过 200 个公共数据集、500 多万张影像,并以每天大约 4000 张影像的速度递增。其不完整的数据集目录参见:Earth Engine Data Catalog

GEE 公有数据集

学习资源

GEE 的普及离不开丰富的学习资源,首推官方系统性的介绍文档:https://developers.google.com/earth-engine,其中的 JavaScript and Python GuidesAPI Reference 和 Earth Engine Community Content 部分是初学者的不二之选。其次,推荐澳大利亚查尔斯·达尔文大学 GEARS 团队的 GEE 教程。以及,华人吴秋生老师的系列视频教程:https://space.bilibili.com/527404442/video,和他开发的 geemap 模块教程。吴秋生老师还写有 Awesome-GEE,对 GEE 学习资源做了较为全面的归总。

对英文无感的童鞋可以看 王金柱 同学的入门视频教程:遥感大数据平台 Google Earth Engine 教学视频,以及知乎大佬 无形的风 写的系列教程。若想快速系统学习 GEE,而且家里有矿的,可直接阅读《遥感云计算与科学分析:应用与实践》一书。

遥感云计算与科学分析:应用与实践

当然,再多的学习资源都比不上一次走心的实践操作。下面就为大家演示,如何利用 MODIS 数据制作 2020 年 5 月至 2021 年 5 月全中国植被指数时序。

全国植被指数时序

首先,从 全国地理信息资源目录服务系统 下载全国行政边界矢量数据,导入到 GEE。然后,建立研究区域,并裁剪中国行政边界。

中国行政边界

随后,加载 MODIS 植被指数产品,并进行数据筛选。

筛选得到的 MODIS 数据集

最后,将筛选得到的影像组成时序,并以直观的配色方案输出至终端显示。

全国 2020~2021 年植被指数时序

从时序图可见,植被的生成变化情况随时间沿纬度带呈潮汐状。这与太阳相对赤道的偏角在南北纬 23.5° 之间移动有关,此现象的具体研究参见:Nicholson, 2019。在世界范围内,无论规模大小,都可以发现相似的植被生产力季节性变化模式。

PS:后台回复“全国植被指数时序”获取完整示例代码。

结语

作为一个集成的一体化工具,GEE 不局限于专业的遥感或地理空间信息应用开发,还能广泛服务于缺乏计算资源的消费级人群。

本文从 发展背景技术特点数据集 与 学习资源 四个方面简要介绍了 GEE 全球尺度遥感云计算平台,并以全国 2020~2021 植被指数时序制作为例展示了 GEE 在大尺度遥感数据分析方面的巨大应用潜力。

希望本文能抛砖引玉,为 GEE 初学者提供具有建设性意义的入门参考!