超越黑名单,运用机器学习检测恶意URL
2023-09-27 14:24:10 时间
山石网科技术团队受邀在Blackhat Asia 2017上发表演讲,以下为论文简介:
许多类型的现代malwares使用基于http的通信。与传统的AV签名,或系统级的行为模型相比,网络级行为签名/建模在恶意软件检测方面有一定的优势。在这里,我们提出一个新颖的基于URL的恶意软件检测方法行为建模。该方法利用实践中常见的恶意软件代码重用的现象。基于大数据内已知的恶意软件样本,我们可以提炼出简洁的功能模型,代表许多不同的恶意软件中常用的相似性连接行为。这个模型可以用于检测有着共同的网络特征的未知恶意软件变种。
我们专注于HTTP连接,因为这个协议是最主要的恶意软件连接类型,用僵尸控制网络连接,得到更新和接收命令后开始攻击。检查在http连接层次的特征已被证明是一种来检测恶意连接的有效方式。
在山石网科的下一代防火墙设备中,我们有算法使用静态黑名单和特征签名来检查连接域名,URL路径和用户代理以确定是否恶意。结合DGA域检测的机器学习算法,我们取得很好的恶意URL检出率。然而,最复杂和富有挑战性的部分是查询URL字符串连接的动态内容。因为这些字符串非常多样化,几乎可以是任何东西,导致静态签名规则变得不那么有效。参数的变种和进化使签名生成费时。它还需要签名库为新连接特性执行频繁的更新。
我们这个演讲谈到的新颖的聚类算法是非常高效的,这个算法不仅可以检测已知的恶意URL,并且也能检测到从未暴露(0-day)的新变种。这个模型对来自于大约每周10 k更新的恶意软件样本的800000 url运用机器学习。
原文发布时间为: 2017年3月31日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
机器学习概念漂移检测方法(Aporia) 目前,有多种技术可用于机器学习检测概念漂移的方法。熟悉这些检测方法是为每个漂移和模型使用正确度量的关键。 在本文章中,回顾了四种类型的检测方法:统计、统计过程控制、基于时间窗口和上下文方法。
网站漏洞检测服务对URL跳转漏洞检测分析 网站渗透测试是指在没有获得网站源代码以及服务器的情况下,模拟入侵者的攻击手法对网站进行漏洞检测,以及渗透测试,可以很好的对网站安全进行全面的安全检测,把安全做到最大化。在挖掘网站漏洞的时候我们发现很多网站存在域名跳转的情况,下面我们来详细的讲解一下。
卫星联手机器学习,如何检测海洋中的塑料垃圾? 塑料制品往往色彩多样,不同尺寸,不同类型,大多数由多种化学物质制成,更糟糕的是,地球上的海洋区域广阔无垠,每年新增的数百万吨塑料很快就会四散蔓延,这种“大塑料”会逐渐分解成细小的塑料块,难以循迹,给海洋生物造成致命威胁。
机器学习在交通标志检测与精细分类中的应用 本文主要介绍机器学习技术在高德的地图数据生产的具体应用,这些技术方案和设计都已经过验证,取得了不错的效果,并且为高德地图数据的快速更新提供了基础的技术保证。
机器学习在实时性欺诈检测中的应用案例 机器学习和人工智能正在对企业、品牌乃至整个行业进行深刻的变革,它在金融业务中防止身份盗用、财务欺诈以及数字广告反欺诈等领域中有着重要的应用前景。
相关文章
- “绝影”机器狗如何利用ModelArts强化学习算法更改导航轨迹
- 【机器学习】数据处理中白化Whitening的作用图解分析
- 异常检测:综述(基本都是无监督算法)【时间序列算法:AR/MA/ARMA】【传统机器学习算法:孤独森林、One Class SVM】【深度学习算法:AutoEncoder、LSTM、DeepLog】
- 机器学习实现临床诊断大突破,可100%准确预测白血病缓解
- 机器学习算法总结(五)——聚类算法(K-means,密度聚类,层次聚类)
- 机器学习简介及常用算法
- B.数据挖掘机器学习[三]---汽车交易价格预测详细版本{特征工程、交叉检验、绘制学习率曲线与验证曲线}
- 【机器学习】【条件随机场CRF-2】CRF的预测算法之维特比算法(viterbi alg) 详解 + 示例讲解 + Python实现
- 机器学习——标准化/归一化的目的、作用和场景
- 超越黑名单,运用机器学习检测恶意URL
- 关于机器学习你必须了解的十个真相
- 机器学习: k-means聚类对数据进行预分类
- 机器学习:gensim之Word2Vec 详解
- 机器学习笔记 1 LMS和梯度下降(批梯度下降) 20170617
- 统计模型机器学习模型领域相关知识,指标概念及问题点积累
- Python3入门机器学习经典算法与应用 第3章 Numpy中的arg运算
- 机器视觉的9大快速开发库简单介绍
- 《中国人工智能学会通讯》——8.16 演化计算中的机器学习
- 机器学习开源项目
- 马云称AI下棋是侮辱人类,机器要有追求
- 初学者如何选择合适的机器学习算法(附算法速查表)
- 机器学习工具在数据中心的应用与发展
- 机器学习在入侵检测方面的应用 - 基于ADFA-LD训练集训练入侵检测判别模型
- 计算机视觉、机器学习相关领域论文和源代码大集合
- Python机器学习:训练Tesseract