AWS DAS认证考点整理(Athena&Glue篇)
2023-09-14 09:12:59 时间
Athena
- Athena查询隔离=Work Group, 可以control per-query data usage limit.
- Athena查询速度优化:1. 压缩 2. 列式存储 3. S3和Athena同一个Region
- Athena查询成本优化:1.Partition by,2. 列式存储,3.合并小文件
- Athena partition快速生成or恢复=MSCK REPAIR TABLE,Athena使用hive style partition。
- Athena查询结果S3加密:S3-SSE, CMK-KMS and CSE-KMS
- Athena DML timeout after 30minutes= Raise ticket in service quotas
- Athena Payload超出上限错误=结果上传S3+Presigned URL
- lzo压缩格式高速解压比gzip读取速度快,提高Athena查询性能。
Glue
- AWS Glue Crawler Classification = Unknown: All the classifiers certainty=0.0
- Glue读取大量小文件用dynamic frame file grouping功能。
- Glue读取大量小文件报outofmemory错误= 'groupFiles': 'inPartition' feature.
- Glue Crawler和Athena都可以跨Region使用。
- Glue Crawler/Copy Command triggered by S3:CreateObject event = most current data
- Glue跳过特定的S3存储层:excludeStorageClasses
- Glue scale = glue job metrics + maximum capcity job parameter
- Glue job rerun导致重复数据清理用Postactions in DynamicFrameWriter class
- Glue支持PySpark Scala dialect,不支持Hive script
- Glue Job bookmark功能避免重复处理数据,只处理增量数据。
- Glue catalog update manually created table = choose table when define crawler.
- Glue跑完job自动update catalog=enable updatecatalog
- Glue Findmatch ML=match data without PK
- Glue streaming ETL 连 KDS, MSK, 不可以连KDF。
相关文章
- 基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse
- AWS re:Invent:SRD协议将取代TCP?
- MySQL Error number: MY-011416; Symbol: ER_KEYRING_AWS_FAILED_TO_SET_REGION; SQLSTATE: HY000 报错 故障修复 远程处理
- 狼来了!AWS宁夏区域可能6、7月份投入运营
- 因 AWS 数据中心断电,1TB 数据丢失了
- 硬核观察 #357 ElasticSearch 继续对抗亚马逊 AWS 的开源分叉
- 亚马逊最赚钱AWS业务添三大AI工具,这里是亮点和售价一览表
- 对话AWS副总裁Swami:机器学习正处在Day one,但已无处不在
- 云端无限存储AWS大规模MySQL数据库管理(aws海量数据mysql)
- 深入探索AWS与Oracle的强强合作(aws与oracle)
- AWS Oracle数据库备份确保数据安全保障(aws oracle备份)
- 云端AWS和企业级数据库 Oracle的尝试之路(aws oracle)
- AMP与Oracle结合提升数据库性能($amp oracle)