数据太大爆内存怎么办?七条解决思路
在研究、应用机器学习算法的经历中,相信大伙儿经常遇到数据集太大、内存不够用的情况。
这引出一系列问题:
- 怎么加载十几、几十 GB 的数据文件?
- 运行数据集的时候算法崩溃了,怎么办?
- 怎么处理内存不足导致的错误?
本文将讨论一些常用的解决办法,供大家参考。
处理大型 ML 数据文件的七种思路
1. 分配更多内存
有的机器学习工具/库有默认内存设置,比如 Weka。这便是一个限制因素。
你需要检查一下:是否能重新设置该工具/库,分配更多内存。
对于 Weka,你可以在打开应用时,把内存当作一个参数进行调整。
2. 用更小的样本
你真的需要用到全部数据吗?
可以采集一个数据的随机样本,比如前 1,000 或 100,000 行。在全部数据上训练最终模型之前(使用渐进式的数据加载技巧),先试着用这个小样本解决问题。
总的来说,对算法做快速地抽查、看到结果在前后的变化,在机器学习领域是一个很好的习惯。
你还可以考虑:相对于模型技巧,做一个数据大小的敏感性分析。或许,对于你的随机小样本,有一个天然的边际效应递减分水岭。越过这个关口,继续增加的数据规模带来的好处微乎其微。
3. 更多内存
你必须要用 PC 吗?
你可以考虑内存、性能高一个量级的计算设备。比如,租用 AWS 这样的云服务。租用云端有数十 GB 内存的机器,***价格每小时不到一美元。我个人觉得这是非常实际的选择。
4. 转换数据格式
你是否把数据存为原始的 ASCII 文本,比如 CSV 文件?
或许,使用其它格式能加速数据载入并且降低内存占用。好的选择包括像 GRIB、NetCDF、HDF 这样的二进制格式。
有很多命令行工具能帮你转换数据格式,而且不需要把整个数据集载入内存里。
换一种格式,可能帮助你以更紧凑的形式存储数据,节省内存空间;比如 2-byte 整数,或者 4-byte 浮点。
5. 流式处理数据,或渐进式的数据加载
你的所有数据,需要同时出现在内存里吗?
或许,你可以用代码或库,随时把需要的数据做流式处理或渐进式加载,导入内存里训练模型。
这可能需要算法使用优化技术迭代学习,比如使用随机梯度下降。那些需要内存里有所有数据、以进行矩阵运算的算法,比如某些对线性回归和逻辑回归的实现,就不适用了。
比如,Keras 深度学习 API 就提供了渐进式加载图像文件的功能,名为 flow_from_directory
另一个例子式 Pandas 库,可批量载入大型 CSV 文件。
6. 使用关系数据库(Relational database)
关系数据库为存储、访问大型数据集提供了标准化的方法。
在内部,数据存在硬盘中,能渐进式地 in batch 批量加载,并使用标准检索语言 SQL 检索。
像 MySQL、Postgres 这样的开源数据库工具,支持绝大多数的(全部?)编程语言。许多机器学习工具,都能直接与关系数据库连通。你也可以用 SQLite 这样更轻量的方法。
我发现,这种方法对大型表格式数据集非常有效率。
雷锋网提醒,你需要用能迭代学习的算法。
7. 使用大数据平台
有的情况下,你可能必须要使用大数据平台,即为处理超大型数据集而开发的平台。它们能让你进行数据转换,并在其上开发机器学习算法。
两个很好的例子是 Hadoop 与机器学习库 Mahout,以及 Spark 与 MLLib 库。
我认为,这是用尽上述办法仍无法解决的情况下,才需要采用的***手段。单纯是这为你的机器学习项目所带来的额外硬件、软件复杂情况,就会消耗许多精力。
即便如此,有的任务确实数据太过庞大,前面的选项都无法奏效。
相关文章
- 在 Go 里用 CGO?这 7 个问题你要关注!
- 9款优秀的去中心化通讯软件 Matrix 的客户端
- 求职数据分析,项目经验该怎么写
- 在OKR中,我看到了数据驱动业务的未来
- 火山引擎云原生大数据在金融行业的实践
- OpenHarmony富设备移植指南(二)—从postmarketOS获取移植资源
- 《数据成熟度指数》报告:64%的企业领袖认为大多数员工“不懂数据”
- OpenHarmony 小型系统兼容性测试指南
- 肯睿中国(Cloudera):2023年企业数字战略三大趋势预测
- 适用于 Linux 的十大命令行游戏
- GNOME 截图工具的新旧截图方式
- System76 即将推出的 COSMIC 桌面正在酝酿大变化
- 2GB 内存 8GB 存储即可流畅运行,Windows 11 极致精简版系统 Tiny11 发布
- 迎接 ecode:一个即将推出的具有全新图形用户界面框架的现代、轻量级代码编辑器
- loongarch架构介绍(三)—地址翻译
- Go 语言怎么解决编译器错误“err is shadowed during return”?
- 敏捷:可能被开发人员遗忘的部分
- Denodo预测2023年数据管理和分析的未来
- 利用数据推动可持续发展
- 在 Vue3 中实现 React 原生 Hooks(useState、useEffect),深入理解 React Hooks 的