京东利用BigDL构建大规模图像特征提取
利用 构建 图像 京东 大规模 特征提取
2023-09-14 09:01:36 时间
本文分享了英特尔和京东团队在 Apache Spark 和 BigDL 上使用深度学习构建大规模图像特征提取框架的经验和教训。
背景
图像特征提取广泛应用于图像相似性搜索、图片重复数据删除等。在采用 BigDL 之前,京东团队非常努力地在多图形处理单元(GPU)服务器和GPU集群设置上构建特征提取应用程序;但是,我们的经验表明,上述GPU解决方案存在许多缺点,包括:
1、GPU 集群中各个 GPU 卡的资源管理和分配非常复杂且容易出错(例如,由于 GPU 内存不足而导致内存不足 (OOM) 错误和程序崩溃)。
2、在多 GPU 服务器中,开发人员需要投入大量精力来手动管理数据分区、任务均衡、容错等。
3、基于 GPU 解决方案(例如 Caffe*)的应用程序具有许多依赖项,例如 CUDA*,这大大增加了生产部署和运营的复杂性;例如,人们经常需要为不同版本的操作系统或不同版本的GNU编译器集合(GCC)重建整个环境。
因此,在构建 GPU 应用程序管道时存在许多体系结构和技术挑战。
让我们来看看图像特征提取应用程序的体系结构。由于许多图像的背景可能非常复杂,并且图像中的主要对象通常很小,因此需要将主要对象与图片的背景分开,以便正确提取特征。当然,图像特征提取的框架可以分为两个步骤。首先,利用目标检测算法对主要目标进行检测,然后利用特征提取算法提取识别对象的特征。在这里,我们使用单次多盒
相关文章
- 利用AXIS简单搭建WebService
- Osg-OSG利用DrawCallback实现动画效果(Qt5.14.2+osgE3.6.5+win10)-No24-DrawCallback
- ROS中利用V-rep进行地图构建仿真
- 利用grep-console插件使Intellij idea显示多颜色调试日志
- Python中利用原始套接字进行网络编程的示例
- 利用资源编排服务,创建安全组(SecurityGroup)访问规则
- 利用 Rational ClearCase ClearMake 构建高性能的企业级构建环境
- Python语言学习:利用python获取当前/上级/上上级目录路径(获取路径下的最后叶目录的文件名、合并两个不同路径下图片文件名等目录/路径案例、正确加载图片路径)之详细攻略
- DataScience:基于GiveMeSomeCredit数据集利用特征工程处理、逻辑回归LoR算法实现构建风控中的金融评分卡模型
- ML之分类预测之LARS:利用回归工具将二分类转为回归问题并采用LARS算法构建分类器
- ML之catboost:基于人类性别相关属性的数据集利用catboost模型实现二分类预测(男女性别预测,全流程案例,包括代码实现)
- 利用开源架构ELK构建分布式日志系统
- 利用开源架构ELK构建分布式日志系统
- Docker 利用buildx插件构建多平台镜像——筑梦之路
- 二分查找——Find Peak Element,主要是利用index+1和index-1来判断走向
- 利用被入侵的路由器迈入内网——抓包,利用路由器漏洞入侵,进行流量劫持
- Twitter的流处理器系统Heron——升级的storm,可以利用mesos来进行资源调度
- 如何利用电容谐振改善PDN阻抗-电源完整性
- 3.1、利用标签感知机制检测X射线安全图像中的重叠物体