zl程序教程

您现在的位置是:首页 >  后端

当前栏目

MaxCompute和DataIDE权限体系介绍

权限 介绍 体系 MaxCompute
2023-09-11 14:22:33 时间

MaxCompute是阿里云自主研发的大数据计算引擎。通过MaxCompute,可以使用SQL、MapReduce和Graph的计算模型处理海量数据。产品还提供了机器学习的功能,并包装成机器学习这个产品对外提供服务。用户使用MaxCompute,不需要关心底层的分布式计算细节,就可以轻松地处理海量数据。

但是直接用MaxCompute也有一些不方便之处,比如需要更方便地进行开发代码的管理、进行数据的导入导出、设置任务的定时调度以及上下游依赖、管理任务的运行情况并做好异常报警、需要有简单方便的元数据的管理以及我们这次要讲的更方便的数据权限设置。为此诞生了大数据开发套件(Data IDE)这个产品。Data IDE在MaxComput外面又包了一层。用户不需要直接去操作MaxComupt,只需要在Data IDE上做操作就可以了,大大简化了数据仓库搭建的过程。有时候,我们甚至会称Data IDE是MaxCompte的开发工具。

MaxCompte作为计算引擎,本身就有一套健全的安全规则和权限体系。这些权限设置,足够让用户只能访问到他被授权的那些数据。在此基础上,Data IDE提供了一套自己的权限体系,包含Data IDE上的模块的授权和MaxCompte上的授权。通过在Data IDE上做配置,就能很方便的给账号授予对应的MaxCompte权限。以下我们分别对这两个产品做一些说明。

MaxCompute 权限设置

MaxCompute在添加一个用户后,可以对用户通过ACL直接授权、基于角色的ACL授权、Policy授权、Package授权,使其获得对应的权限。其中ACL直接授权、基于角色的ACL授权是目前对外提供的权限控制方法。Policy授权、Package授权这两个功能,目前还是在内部测试阶段,公共云上的MaxCompute的文档里暂时还没有提供,但不排除以后会提供的可能。

MaxCompute需要把某个具体的云账号添加到项目里后才能对这个账号进行授权。MaxComupte本身支持对具体的某个云账号,或者本主账号下的其他子账号进行授权。不过后面的大数据开发套件就只支持本账号下的子账号。

添加的方式为

主账号:add user aliyun$alice@aliyun.com; 子账号:add user ram$alice@aliyun.com:ram_name;
ACL授权

直接的ACL授权,其实就是一个简单的,把XX权限授权给YY,或者把YY上的XX权限解除授权的一个过程。在add user之后,通过grant和revoke语法来进行授权或者解除授权,具体的语法是

grant actions on object to subject 

revoke actions on object from subject

举个实际的例子,要给一个账号授权查询某张表的权限,然后又解除授权,步骤是

grant List, CreateTable, CreateInstance on project prj1 to user aliyun$alice@aliyun.com; --使用grant语句对用户授权

grant Describe, Select on table wc_in to user aliyun$alice@aliyun.com;

revoke Describe, Select on table wc_in from user aliyun$alice@aliyun.com;

revoke List, CreateTable, CreateInstance on project prj1 from user aliyun$alice@aliyun.com; --使用revoke解除授权

而基于角色的ACL授权就是先定义一个角色(或者说是一个权限包),比如说创建一个叫开发者的角色,然后把各种前面提到的权限先授权给这个角色。后面来了个研发人员需要这样的权限,直接把开发者这个角色授权给他就可以了,不需要全部重新授权一遍。可以看下授权的命令

add user aliyun$alice@aliyun.com; --添加用户

create role dev; --创建角色

grant List, CreateInstance on project prj1 to role dev; --对角色赋权

grant Describe, Select on table userprofile to role dev;

grant dev to aliyun$alice@aliyun.com; --对用户赋予角色dev

如前面提到,Policy授权、Package授权两个功能,目前公共云的MaxcCompute上还没有提供,所以本文也不再做详细介绍。不过可以可以大致说明一下:

Policy是通过设置json格式的配置来授权,使用起来比较复杂,功能上也比较全。

Package是先把资源添加到资源包里,然后授予对方安装资源包的方式来实现资源的跨项目授权

DataIDE权限设置

DataIDE的权限主要分IDE本身的一些功能权限和底层计算引擎的权限。IDE里,在添加用户后,可以给其授予部署、访客 、项目管理员、开发、运维的角色,在IDE里配置了角色后,对应的账号可以获得IDE上对应的角色所拥有的IDE上的对应模块的操作权限外,还获得了底层的计算引擎MaxCompute上的对应权限,如图
image
比如我给chuanxue这个子账号授权了“开发”的角色后
image
可以看到。在子账号授予权限后,除了DataIDE上的相关模块的权限外,还给了这个MaxCompute项目的一些开发需要用到的项目权限(CreateTable、CreateInstance、List、Read、Write;可以看到是通过ACL实现的)以及用Policy实现其他的一些权限。

在实际的工作中,需要先根据子账号用户的实际需要的IDE的权限,授予他对应的项目成员管理里的角色。一般情况下,这样授权就已经足够了。但是如果有一些MaxCompute的权限需要调整的,可以再通过MaxCompute的授权命令进行调整。

除了这个之外,DataIDE的数据管理模块里还支持对表进行权限申请,申请通过后,会自动通过ACL的方式获得对应的表的Describe和Select权限。

以上说明后可能需要一些实际的例子来说明会更加清楚。之前有过这样的一个案例,有个用户在项目内授予了开发权限,但是查询的时候一直没有提示没有这张表的查询权限。照道理说,有了开发权限后,就已经有这个项目下的所有的表的查询权限了。从错误上看,我们认为目前的权限异常是出在计算引擎上的,所以需要检查MaxCompute上的权限设置。

首先到https://workbench.data.aliyun.com/console?#/projectlist ,看看项目名称对应的显示名,从而得到真实的项目名称。其实这个是个非常简单但是容易犯错的情况,很多开发工程师并非是项目的创建者,看到的别名就误以为是项目名称,导致授权检查的时候查错项目。
image
比如咱们这个截图里,项目的名称是aliyun2014,但是显示名是aliyun。所以出现问题的时候,要排查的也是看aliyun2014这个项目下的权限对不对。

然后我们可以在大数据开发套件里,创建一个SQL脚本,执行whoami;来看看当前的执行账号是否确实是预期中的那个账号,如图
image
看看项目名称能不能对上,对上后看看Name是否和自己的预期是能对上的。

确定了项目名称和登录账号后,可以用项目管理员的账号,打开MaxCompute的客户端,使用Show grants for xxx;查看这个账号的所有的权限(前文就有一个这样show grants的截图)。通过这个办法可以看到这个账号的目前计算引擎上的实际权限。如果发现这里的权限不对的话,那说明可能是被人从计算引擎层面上误删除了对应的权限,可以再通过命令补上,当然更加方便的方法是在DataIDE上取消其开发角色后再重新加上,这样在加上的时候会重新进行MaxComupte的权限的授权。


MaxCompute中如何通过policy 禁止角色的删除权限 Policy授权则是一种基于主体的授权。通过Policy授权的权限数据(即访问策略)被看做是授权主体的一种子资源。只有当主体(用户或角色)存在时才能进行Policy授权操作。当主体被删除时,通过Policy授权的权限数据会被自动删除。 Policy授权使用MaxCompute自定义的一种访问策略语言来进行授权,允许或禁止主体对项目空间对象的访问权限。Policy授权机制,主要解决ACL授权机制无法解决的一些复杂授权场景。
MaxCompute创建仅有查询权限的自定义角色 MaxCompute原有的权限模型提供的ACL授权方式,需要明确指定授权对象才能授权,ACL方式不支持通配符方式对新增表做授权。本文通过一个自定义角色的场景,介绍使用MaxCompute新升级的权限模型,利用ACL实现对特定规则的表进行授权。
MaxCompute与DataWorks权限介绍和示例 该篇文章的主要内容是MaxCompute与DataWork权限的经典知识点汇总,MaxCompute常使用的权限分类以及经典使用语句,以及MaxCompute基于policy策略的生产环境和开发环境为用户做权限管理的示例。
基于MaxCompute/Dataworks实现数据仓库管理与全链路数据体系 就这样,大数据领域蓬勃发展了好几年,有很多伙伴执迷于技术,成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据,成为了行业的数据研发专家。当然还有很多小伙伴,热衷于工具系统开发,成为了数据技术专家。
MaxCompute studio与权限那些事儿 背景知识 MaxCompute拥有一套强大的安全体系,来保护项目空间里的数据安全。用户在使用MaxCompute时,应理解权限的一些基本概念: 权限可分解为三要素,即主体(用户账号或角色),客体(表/资源/函数等),以及操作(与特定客体类型相关),详细参考 https://help.aliyun.com/document_detail/27935.html。
MaxCompute/DataWorks权限问题排查建议 MaxCompute/DataWorks权限问题排查建议 __前提:__MaxCompute与DataWorks为两个产品,在权限体系上既有交集又要一定的差别。在权限问题之前需了解两个产品独特的权限体系。
MaxCompute/DataWorks账号权限及依赖整理-持续更新 经常有人问在MaxCompute和Dataworks中,主子账号的权限分别对应哪些操作,是否可以用子账号创建Project?是否用子账号购买资源?子账号是否可以做数据同步? 今天抽时间整理了一些用户经常遇到的MaxCompute/DataWorks权限问题,后续还会逐步更新。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。