SQL Server数据库随机抽取数据效率优化总结篇
2023-03-31 11:09:42 时间
在操作SQL Server数据库时如何快速的从数据表里随机抽取数据呢?本文通过四个代码示例来比较,逐步地总结经验,来讲述提高随机抽取数据速度的方法,接下来我们就开始介绍。
假设我生成了一个简单的数据表,并且导入了500W条数据进行测试。
下图为***次采用的SQL语句:
- Declare @d Datetime
- Set @d=getdate()
- SELECT top 1[ActivityID]
- ,[CardNo]
- ,[Password]
- ,[State]
- ,[CreateTime]
- ,[GetTime]
- FROM [TGBus_Card].[dbo].[Ka_Card] Where ActivityID = 501 And State = 0 Order By NEWID()
- Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())
这是我优先会想到的解决方案,NEWID()每次都要检索整个数据表,为每一行数据产生一个uniqueidentifier类型的***值,所以它的执行效率肯定不高 ,每次执行都要在4秒左右。
还有没有更好的办法那?!
我在想,因为SELECT是在ORDER BY之前执行的,所以能不能在SELECT的时候产生NEWID()后在ORDER BY使用那?
于是有了第二个版本:
- Declare @d Datetime
- Set @d=getdate()
- SELECT top 1[ActivityID]
- ,[CardNo]
- ,[Password]
- ,[State]
- ,[CreateTime]
- ,NEWID() as Random
- FROM [TGBus_Card].[dbo].[Ka_Card] Where ActivityID = 501 And State = 0 Order By Random
- Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())
确实有所提高!!但太不明显了。。。。。
还有没有更好的办法?!
于是我又想到了2005的新特性TABLESAMPLE,马上试试!
这是第三版的代码:
- Declare @d Datetime
- Set @d=getdate()
- SELECT top 1[ActivityID]
- ,[CardNo]
- ,[Password]
- ,[State]
- ,[CreateTime]
- ,[GetTime]
- FROM [TGBus_Card].[dbo].[Ka_Card] tablesample (1000 Rows) Where ActivityID = 501 And State = 0
- Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())
速度太快了!!!10几毫秒就显示了!
于是小研究了一下TABLESAMPLE,不看不知道,原来TABLESAMPLE随机选取的单位是数据页,也就是说如果数据量很小的话很可能有取不到数据的可能,试一下果然如此!也就是说别的问题又出现了。
问题又回到了起点。。。难道真的就要用NEWID了吗?正当山人我感慨的时候在MSDN上无意中看到了这段文字:
感觉有戏!!
于是又写了这第四版代码:
- Declare @d Datetime
- Set @d=getdate()
- SELECT Top 1* FROM [TGBus_Card].[dbo].[Ka_Card]
- WHERE 0.01 >= CAST(CHECKSUM(NEWID(), CardNo) & 0x7fffffff AS float) / CAST (0x7fffffff AS int)
- And ActivityID = 501 And State = 0
- Select [语句执行花费时间(毫秒)] = Datediff(ms,@d,Getdate())
这也是我最终采用的方法,SQL执行速度在1毫秒左右。
相信通过上面的介绍,SQL Server随机抽取数据的快捷方法也就很明显了,就是利用上面的代码片段4中的方法,速度是最快的。本文就介绍到这里,希望本次的介绍能够带给您一些收获。
【编辑推荐】
相关文章
- 从本体论开始说起——运营商关系图谱的构建及应用
- 如何成为一名数据科学家?
- 从未见过的堂兄杀了人,你的DNA是关键证据
- 20个安全可靠的免费数据源,各领域数据任你挑
- 20个安全可靠的免费数据源,各领域数据任你挑
- 阿里云李飞飞:All in Cloud时代,云原生数据库优势明显
- 基于Hadoop生态系统的一高性能数据存储格式CarbonData(性能篇)
- 大数据告诉你:10年漫威,到底有多少角色
- TigerGraph:实时图数据库助力金融风控升级
- Splunk利用Splunk Connected Experiences和Splunk Business Flow 扩大数据访问
- 大数据开发常见的9种数据分析手段
- 以免在景区看人,我爬了5W条全国景点门票数据...
- 【实战解析】基于HBase的大数据存储在京东的应用场景
- 数据科学家告诉你哪些计算机科学书籍是你应该看的
- Kafka作为大数据的核心技术,你了解多少?
- Spring Boot 整合 Redis 实现缓存操作
- 大数据学习必须掌握的五大核心技术有哪些?
- 基于Antlr在Apache Flink中实现监控规则DSL化的探索实践
- 甲骨文再次被Gartner评为分析型数据管理解决方案魔力象限领导者
- 爬取吴亦凡微博102118条转发数据,扒一扒流量的真假