对GridFS数据进行分片
数据 进行 分片
2023-09-14 09:12:26 时间
在对 GridFS 存储进行分片时,需要注意以下的情况:
files 集合
大多数情况下不需要对 files 集合进行分片,这个集合通常很小,只包含了一些元信息.集合中也没有合适的片键可以将数据均衡地分布在集群中.如果你 必须 对 files 进行分片,可以使用 _id 字段与应用相关的字段做复合片键.
不将``files`` 分片意味着所有文件的元信息都存储在一个分片上,在生产环境中, 必须 在存储了 files 的分片上使用复制集.
chunks 集合
用以下命令使用 { files_id : 1 , n : 1 } 做片键为 chunks 集合分片:
db.fs.chunks.createIndex( { files_id : 1 , n : 1 } )
db.runCommand( { shardCollection : "test.fs.chunks" , key : { files_id : 1 , n : 1 } } )
也可以像这样只使用 file_id 字段进行分片:
db.runCommand( { shardCollection : "test.fs.chunks" , key : { files_id : 1 } } )
重要
在GridFS存储中,对 chunks 集合进行分片时, 只有 两个片键可以选择,``{ files_id : 1 , n : 1 }`` 与 { files_id : 1 } .
默认的 files_id 是 ObjectId , ObjectId 是递增的,因此所有新写入的数据都会存储到一个单独的分片中,如果这个分片的写负载太大,考虑换一个片键或者在 files 集合中使用不同的 _id 值.
相关文章
- 实用的在线预览数据字典的工具(php编写)
- 【COCOS2DX-LUA 脚本开发之十一】C/C++与LUA之间进行数据函数交互以及解决“PANIC: UNPROTECTED ERROR IN CALL TO LUA API (ATTEMPT TO INDEX A NIL VALUE)”的问题
- R语言进行数据预处理
- 各种RTMP直播流播放权限_音视频_数据花屏_问题检测与分析工具EasyRTMPClient
- 大数据的最核心价值是什么
- 【玩转数据系列二】机器学习应用没那么难,这次教你玩心脏病预测
- Sql Server数据库数据导入到SQLite数据库中
- SAP UI5 Table 控件数据进行 Excel 导出时如何进行格式控制
- ML之LoR&Bagging&RF:依次利用Bagging、RF算法对titanic(泰坦尼克号)数据集(Kaggle经典案例)获救人员进行二分类预测——模型融合
- DL之RBM:(sklearn自带数据集为1797个样本*64个特征+5倍数据集)深度学习之BRBM模型学习+LR进行分类实现手写数字图识别
- TF之DCGAN:基于TF利用DCGAN测试MNIST数据集并进行生成过程全记录
- Python之pandas:对dataframe数据的时间日期格式类型字段进行标准化变换(比如将日期类型字段格式2014/1/1转换为2014-1-1)之详细攻略
- Python编程语言学习:将list或者dataframe类型数据进行归一化并返回(便于绘图)
- 使用pytorch将数据集分成一份一份的
- 语音识别数据集处理python进行音频处理
- 云图说丨初识数据工坊DWR
- 【大数据 & AI 人工智能】数据科学家必学的 9 个核心机器学习算法
- Dynamo分布式系统——「RWN」协议解决多备份数据如何读写来保证数据一致性,而「向量时钟」来保证当读取到多个备份数据的时候,如何判断哪些数据是最新的这种情况
- 显示数据二进制形式
- DL之CNN:基于CRNN_OCR算法(keras,CNN+RNN)利用数据集(torch,mdb格式)训练来实现新图片上不定长度字符串进行识别—预测过程
- 深度学习6 基于ImageDataGenerator的数据集划分
- harmony去批次整合模态数据seurat findintegrationanchors transferdata reference-based label transfer注释超大数据集整合