C# Excel数据验重及Table数据验重
2023-09-14 09:02:13 时间
最近在做导入Excel数据的时候,要检验数据是否重复:
1、要检验Excel数据本身是否有重复? 2、Excel中的数据是否与数据库中的数据重复?
一、检验Excel中数据是否重复的方式有:
1、将Table中的数据使用select语句来过滤(此处略,可以参考二)。
2、使用for循环来手动核对,代码如下:
最近在做导入Excel数据的时候,要检验数据是否重复:
1、要检验Excel数据本身是否有重复?
这种方式适用于Table中数据比较少(100以内),而数据库中要对比表很大的情况。因为这种方式要每对比一条数据,都要连接数据库,并执行查询,很费时间。
大体测试了一下,Excel中有2000条数据,仅仅在数据库中查询,就消耗了7分40秒即4601000 毫秒(ms),大约一条数据耗时:2300.5毫秒
其实,使用方式2导入2000条,耗时也比方式1导入100条,耗时少。
2、将数据库中要对比的表数据取到一个dataset中,遍历Table并将其中每条数据,在dataset中检验重复,代码如下:
layui2.0数据表格导出复杂表头EXCEL解决方案,table2excel layui是一套面向所有层次的前后端开发者,零门槛开箱即用的前端UI解决方案。很多的后端开发在开发后台系统时候都会选择它。 数据表格组件也是使用非常频繁的,它可以快速从api得到数据并进行处理渲染成表格,并且还有排序、总计、导出表格等等功能。
再见,Excel数据透视表;你好,pd.pivot_table Excel作为Office常用办公软件之一,其在一名数据分析师的工作日常中也占有一定地位,比如个人就常常倾向于依赖Excel完成简单的数据处理和可视化作图,其中数据处理部分则主要是运用内置函数+数据透视表两大部分。 Excel数据透视表虽好,但在pandas面前它也有其不香的一面!
最近在做导入Excel数据的时候,要检验数据是否重复:
1、要检验Excel数据本身是否有重复?
2、Excel中的数据是否与数据库中的数据重复?
一、检验Excel中数据是否重复的方式有:
1、将Table中的数据使用select语句来过滤(此处略,可以参考二)。
2、使用for循环来手动核对,代码如下:
#region 记录Excel中的重复列 /// summary /// 记录Excel中的重复列 /// /summary /// param name="dt" 需要获取重复列的表 /param /// returns 提示重复信息 /returns private string GetDistinctTable(DataTable dt) //DataTable dtClone = dt;这种方式是错误的,因为这种情况,修改dtClone的同时dt也会被修改。 DataTable dtClone = dt.Clone(); ; string vsSubAcctNo = string.Empty; string vsAcctNo = string.Empty; string repeatExcel = string.Empty; string vsTransDate = string.Empty; for (int i = dtClone.Rows.Count - 1; i i--) vsSubAcctNo = dtClone.Rows[i][4].ToString().Trim(); vsAcctNo = dtClone.Rows[i][1].ToString().Trim(); vsTransDate = dtClone.Rows[i][8].ToString().Trim(); dtClone.Rows[i].Delete(); dtClone.AcceptChanges(); for (int j = dtClone.Rows.Count - 1; j j--) if (vsSubAcctNo == dtClone.Rows[j][4].ToString().Trim() vsAcctNo == dtClone.Rows[j][1].ToString().Trim() vsTransDate == dtClone.Rows[j][8].ToString().Trim()) //如果重复了,进行记录 repeatExcel += "第" + (i + 1).ToString() + "行\r\n"; break; return repeatExcel; #endregion
小注:
clone应该修改为为copy
二、检验Excel中数据是否与数据库中数据重复的方式有:
1、遍历Table并将其中每条数据,在数据库中检验重复。这种方式适用于Table中数据比较少(100以内),而数据库中要对比表很大的情况。因为这种方式要每对比一条数据,都要连接数据库,并执行查询,很费时间。
大体测试了一下,Excel中有2000条数据,仅仅在数据库中查询,就消耗了7分40秒即4601000 毫秒(ms),大约一条数据耗时:2300.5毫秒
其实,使用方式2导入2000条,耗时也比方式1导入100条,耗时少。
2、将数据库中要对比的表数据取到一个dataset中,遍历Table并将其中每条数据,在dataset中检验重复,代码如下:
strTemp = "AcctNo=" + obZH.ToString() + " and TransDate=" + obRQ.ToString() + " and SubAcctNo=" + obDFZH.ToString() + ""; rowsTemp = dsTemp.Tables[0].Select(strTemp); if (rowsTemp.Length 0) //如果重复了,进行记录 repeatDj += "第" + v.ToString() + "行\r\n"; }
layui2.0数据表格导出复杂表头EXCEL解决方案,table2excel layui是一套面向所有层次的前后端开发者,零门槛开箱即用的前端UI解决方案。很多的后端开发在开发后台系统时候都会选择它。 数据表格组件也是使用非常频繁的,它可以快速从api得到数据并进行处理渲染成表格,并且还有排序、总计、导出表格等等功能。
再见,Excel数据透视表;你好,pd.pivot_table Excel作为Office常用办公软件之一,其在一名数据分析师的工作日常中也占有一定地位,比如个人就常常倾向于依赖Excel完成简单的数据处理和可视化作图,其中数据处理部分则主要是运用内置函数+数据透视表两大部分。 Excel数据透视表虽好,但在pandas面前它也有其不香的一面!
相关文章
- C#生成Excel出现8000401a的错误的另一种解决办法。「建议收藏」
- c#异步编程-Task(一)
- Python xlwt数据保存到 Excel中以及xlrd读取excel文件画图
- 报表 MySQL导出Excel数据报表的指南(mysql导出excel)
- 批量转换到csvLinux下Excel批量转换为CSV格式的方法(linux下excel)
- 导入Excel数据到Oracle数据库(将excel导入oracle数据库)
- excel数据分析:SPSS、MySQL和Excel(spssmysql)
- 数据库用Excel快速导入Oracle数据库(excel导入oracle)
- 快速安装Excel:Linux用户指南(linux安装excel)
- MySQL数据导出Excel快速教程(mysql转excel)
- 使用Excel快速读取MySQL数据(excel读取mysql)
- MySQL导入Excel:一步步实现数据导入(mysql导入excel)
- MSSQL导入Excel数据的精彩实战(mssql读excel)
- Oracle将数据输出到Excel中(oracle写excel)
- 与CXML与MySQL共同构建强大的数据库系统(c# xml mysql)
- Excel中抓取Oracle数据的有效方法(excel抓oracle)
- Excel与Oracle精准大数据统计分析利器(excel和oracle)
- 实现Redis数据批量导出至Excel(redis 转excel)
- c#?肩被??瀹?渚???????/h1>
- C#如何将DataTable导出到Excel解决方案
- C#中将ListView中数据导出到Excel的实例方法
- C#利用System.Threading.Thread.Sleep即时输出信息的详解
- 浅谈Java与C#的一些细微差别
- C#实现HTTP下载文件的方法
- C#窗体读取EXCEL并存入SQL数据库的方法
- C#将Sql数据保存到Excel文件中的方法