Matano:一款针对AWS的开源安全湖平台
关于Matano
Matano是一款针对AWS的开源安全湖平台,该平台允许我们从各种数据源获取并注入大量和安全以及日志相关的数据,并将其存储到一个开源的Apache Iceberg数据湖中,同时这也方便广大研究人员进行后续的安全数据查询。除此之外,该工具还会创建Python脚本对代码进行实时监测,并会在检测到问题是发出实时警报。Matano是以完全无服务架构形式实现的,并且专为AWS设计。该工具的特性为大规模、低成本和零操作,支持广大研究人员轻松将Matano部署到目标AWS账户中。
功能介绍
从各种数据源收集安全与日志数据
Matano支持从各种数据源收集数据并存储到S3或其他给予SQS的存储中。
存储、传输和日志数据格式化处理
Matano可以使用VRL来对数据进行格式化和传输,Matano默认使用ECS,我们也可以定义自己的模式。
将数据存储至S3对象存储中
日志数据存储在S3对象存储中,实现经济高效、长期耐用地数据存储。
Apchae Iceberg数据湖
所有数据都被接收到一个基于Apache Iceberg的数据湖中,允许我们对所有日志数据执行ACID事务和其他操作等。Apache Iceberg是一种开放表格式,因此我们始终拥有自己的原始数据,不存在其他锁定或限制。
无服务架构
Matano是一个完全无服务平台,旨在实现零操作和无限弹性的水平扩展。
Python脚本实时监测日志数据
可以通过编写Python脚本实现对日志数据的实时警报。
工具运行机制
工具安装
依赖要求
Docker
Nightly版本
Matano还提供了一个Nightly版本,其中包含最新版本的预构建文件,可以用来安装matano命令行工具。除此之外,我们也可以直接下载和安装Matano安装程序。
比如说,下列命令可以在Linux上安装并配置好Matano命令行工具:
curl -OL https://github.com/matanolabs/matano/releases/download/nightly/matano-linux-x64.sh
chmod +x matano-linux-x64.sh
sudo ./matano-linux-x64.sh
(向右滑动,查看更多)
源码安装
广大研究人员还可以使用下列命令直接将项目源码克隆至本地,并完成项目构建:
git clone https://github.com/matanolabs/matano.git
cd matano
make package
上述命令将在项目根目录下生成一个matano-linux-x64.sh安装文件,直接运行该文件即可。
工具部署
如需使用Matano,直接运行下列命令即可:
matano init
确保你已经在环境变量或AWS CLI配置文件中定义了AWS凭证。
交互式命令行工具的安装程序会自动帮助我们生成一个初始化Matano目录,并初始化AWS账号,然后将Matano部署到AWS账号中。
部署过程需要几分钟,请耐心等待。
工具使用演示
许可证协议
本项目的开发与发布遵循Apache-2.0开源许可证协议。
项目地址
Matano:https://github.com/matanolabs/matano
参考资料:
https://github.com/matanolabs/matano# https://vector.dev/docs/reference/vrl/ https://www.elastic.co/guide/en/ecs/current/index.html https://www.matano.dev/docs
相关文章
- aws s3 java SDK使用[通俗易懂]
- 【Manning新书】云计算安全指南:以AWS为例
- Linux系统:第十二章:AWS服务器X86架构安装配置Mysql与MongoDB
- AWS简单搭建使用EKS一
- AMD专访:收购Pensando不是为了AWS,但是Chiplet可以搞起来
- AWS回应Elastic修改开源协议:创建“真正”开源的Elasticsearch分支
- 教你处理 AWS Windows密码丢失重置的问题
- MySQL Error number: MY-011436; Symbol: ER_KEYRING_AWS_INCORRECT_REGION; SQLSTATE: HY000 报错 故障修复 远程处理
- MySQL Error number: MY-011440; Symbol: ER_KEYRING_AWS_FAILED_TO_RE_ENCRYPT_KEY; SQLSTATE: HY000 报错 故障修复 远程处理
- 商标侵权败诉后亚马逊在中国启用新名称亚马逊云科技放弃AWS标志
- AWS 宣布赞助 Rust 语言
- CloudSort 夺冠,阿里云性价比高出 AWS 保持的世界记录三倍
- AWS 采用自制的 KVM 作为新的管理程序
- AWS 帮助构建 ONNX 开源 AI 平台
- 俄罗斯被发现劫持 Google/AWS/Cloudflare 等公司的互联网流量
- Google打造云中Hadoop便捷版 强势对抗AWS
- 亚马逊云服务AWS崩了?一众互联网公司挂了!
- Apple的MacOS首次出现在云端,AWS EC2实例迎来大更新
- 与AWS/Azure/华为云集成,Kyligence要对抗“数据焦虑”
- 硬核观察 #357 ElasticSearch 继续对抗亚马逊 AWS 的开源分叉
- AWS快速拉取MySQL日志,轻松管理日志记录(aws拉取mysql日志)
- AWS搜索 进入MySQL引擎的新时代(aws搜索MySQL引擎)
- 云服务器上MySQL的迁移AWS解决之道(aws mysql 迁移)
- 实现高可用性的AWS与MySQL复制(aws mysql 复制)
- AWS MySQL服务价格深度剖析(aws mysql 价格)
- 在AWS上搭建MySQL数据库系统的中文化指南(aws mysql 中文)
- AWS取代Oracle,重新定义数据库技术(AWS代替Oracle)
- AWS Oracle数据库备份确保数据安全保障(aws oracle备份)
- 云端AWS和企业级数据库 Oracle的尝试之路(aws oracle)
- 探索Oracle云和AWS的全新世界(oracle云和aws)
- Redis实现从AWS迁移简化(redis迁移aws)