C#.NET 大型通用信息化系统集成快速开发平台 4.1 版本 - 大数据支持分表优化
2023-02-18 15:32:09 时间
有一种需求是需要处理海量数据、现在有这样的需求有实力的单位都开始用大数据相关技术。自己没大数据能力也可以采取花钱办事思路直接采取云服务上的大数据处理能力,花钱购买就可以了,简单省事。
1:有足够多的服务器处理数据。
2:这些足够多的服务器进行了集群、同时进行运算。
3:想要什么结果,类似sql语句一执行、海量数据第2天绝对能出结果了、T+1的数据处理,第2天能知道前几天的数据的处理结果。
当然又没钱也没实力、也没那么多费用购买服务器、大数据软件产品的、就需要靠自己的勤奋、对付实际应用需求来解决问题。
公司的短信平台,数据量越来越大了,需要对数据进行一些优化,下面是拆分后的数据库量参考(就一台普通服务器、能正常运转公司的某个业务能力了也是挺好的事)。
新开发的软件模块,必须支持分表,拆表的功能一个数据表里,不适合保存1000万以上的记录新开发的业务模块,能分表的全分表,否则,将来我们无法用其他小型数据库,例如mysql
现在系统的短信已经进行了拆表接着打算把日志也进行拆表确保数据库里,没有庞大的表,随时可以切换数据库。
每个人把自己负责的事情,做到自己能力的及至,做到部门能力的及至,公司能力的及至,就很有希望了有时候我说话很随意,但是一般会注意,我说出去的话,会不会打击人家的工作积极性,大家人家的兴趣爱好,不要给热情工作的小活子泼冷水什么的,尽量是鼓励。
我们传递参数时:
1: 不要传递网点的编号,尽量传递id, 因为编号是可以修改的, 修改了编号,数据都对不上了。要传递Id.
2: 用户的编号也是可修改的,也是要传递Id,科学。
UserId, SiteId
相关文章
- Shiro (包含权限满足其中一个就通过的用法)
- mybatis collection
- MySQL执行计划
- MySQL8 设置大小写 正确步骤
- com.atomikos.datasource.ResourceException: XA resource 'masterDB': resume for XID异常
- SpringBoot+JTA+Mybatis
- 第 11 篇:基于 drf-haystack 的文章搜索接口
- 第 10 篇 评论接口
- 第 9 篇:实现分类、标签、归档日期接口
- 第 8 篇:内容支持 Markdown 语法,接口返回包含解析后的 HTML
- 第 7 篇:文章详情的 API 接口
- 第 5 篇:用视图集,简化你的代码
- 第 4 篇:用类视图实现首页 API
- 第 3 篇:实现博客首页文章列表 API
- 初始化 RESTful API 风格的博客系统
- Chrome 离线安装 Proxy SwitchyOmega 重启后消失解决办法
- 程序员必备之终端模拟器,让你的终端世界多一抹“颜色”
- 搭建博客、自己的小窝?快来看看这些开源静态网站生成器
- 有了这些开源动效项目,设计和开发不再相杀只剩相爱
- 优雅地使用 C++ 制作表格:tabulate