研究人员利用人工智能实时发现隐藏在海量数据中的异常现象
2023-04-18 14:46:35 时间
识别国家电网的故障就像在一个巨大的干草堆里找一根针。分布在美国各地的数十万个相互关联的传感器实时捕捉电流、电压和其他关键信息的数据,往往每秒钟进行多次记录。麻省理工学院IBM沃森人工智能实验室的研究人员已经设计出一种计算效率高的方法,可以实时自动确定这些数据流中的异常情况。
他们证明了他们的人工智能方法,学会了对电网的互联性进行建模,在检测这些故障方面比其他一些流行的技术要好得多。由于他们开发的机器学习模型不需要关于电网异常的注释数据来进行训练,它将更容易应用于高质量、有标记的数据集往往难以获得的现实世界。该模型也很灵活,可以应用于其他有大量互联传感器收集和报告数据的情况,如交通监控系统。例如,它可以识别交通瓶颈或揭示交通堵塞是如何串联的。
研究人员首先将异常现象定义为发生概率较低的事件,如电压的突然飙升。他们将电网数据视为概率分布,因此,如果他们能估计出概率密度,就能确定数据集中的低密度值。那些最不可能发生的数据点对应于异常点。
估算这些概率不是一件容易的事,特别是由于每个样本捕获了多个时间序列,而每个时间序列是一组随时间记录的多维度数据点。另外,捕获所有这些数据的传感器是有条件的,这意味着它们是以某种配置连接的,一个传感器有时会影响其他传感器。
为了学习数据的复杂条件概率分布,研究人员使用了一种特殊类型的深度学习模型,称为归一化流,它在估计样本的概率密度方面特别有效。他们使用一种被称为贝叶斯网络的图来增强该归一化流模型,该模型可以学习不同传感器之间复杂的因果关系结构。种图结构使研究人员能够看到数据中的模式并更准确地估计异常情况。
相关文章
- ACM宣布封杀这个学者15年!之前被博士生以死控告学术不端
- 安卓能帮你检查密码泄露了!还有信息定时发送等多项功能优化
- 芯片短缺情况至少还会持续一年, 目前供需缺口之间的差额达30%
- 因发布近乎仇恨言论,ASF 除名 TinkerPop 项目联合创始人
- 硅谷大厂也看「名校学历」?Reddit小哥灵魂拷问引起热议
- 2021十大科技前沿趋势
- 程序员的35岁瓶颈是真的存在吗?
- 预计三星损失9000万美元 德州要奥斯汀芯片制造商停止生产
- MIT一招霸气颠覆传统:勇敢换导师,成本我买单
- 微软拓扑量子计算梦碎?三年前研究有误,未发现马约拉纳费米子
- 普渡机器人进入蜀王火锅,给你不一样的用餐体验
- 自动驾驶出租车要来了!
- 中国互联网大发展下,普通人如何在新机遇中赚钱
- 成为业务分析师所需的20项技能
- 为何很多人认为计算机专业就是学习编程的
- 996加班骗局被揭穿,背后真相值得深思!
- 普通人想要在互联网上赚钱,请先读懂这三个道理
- 无监督训练用堆叠自编码器是否落伍?ML博士对比了8个自编码器
- 模型压缩6倍,无需重训练:数学家团队提出量化新方法
- 前哈佛教授炮轰中国学者:学术“碰瓷”!回应:涉事者已开除