C# Excel数据验重及Table数据验重

最近在做导入Excel数据的时候，要检验数据是否重复：         1、要检验Excel数据本身是否有重复？        2、Excel中的数据是否与数据库中的数据重复？ 一、检验Excel中数据是否重复的方式有：         1、将Table中的数据使用select语句来过滤（此处略，可以参考二）。         2、使用for循环来手动核对，代码如下：
最近在做导入Excel数据的时候，要检验数据是否重复：
        1、要检验Excel数据本身是否有重复？

        2、Excel中的数据是否与数据库中的数据重复？

一、检验Excel中数据是否重复的方式有：
        1、将Table中的数据使用select语句来过滤（此处略，可以参考二）。
        2、使用for循环来手动核对，代码如下：

 #region 记录Excel中的重复列

 /// summary 

 /// 记录Excel中的重复列

 /// /summary 

 /// param name="dt" 需要获取重复列的表 /param 

 /// returns 提示重复信息 /returns 

 private string GetDistinctTable(DataTable dt)

 //DataTable dtClone = dt;这种方式是错误的，因为这种情况，修改dtClone的同时dt也会被修改。

 DataTable dtClone = dt.Clone(); ;

 string vsSubAcctNo = string.Empty;

 string vsAcctNo = string.Empty;

 string repeatExcel = string.Empty;

 string vsTransDate = string.Empty;

 for (int i = dtClone.Rows.Count - 1; i i--)

 vsSubAcctNo = dtClone.Rows[i][4].ToString().Trim();

 vsAcctNo = dtClone.Rows[i][1].ToString().Trim();

 vsTransDate = dtClone.Rows[i][8].ToString().Trim();

 dtClone.Rows[i].Delete();

 dtClone.AcceptChanges();

 for (int j = dtClone.Rows.Count - 1; j j--)

 if (vsSubAcctNo == dtClone.Rows[j][4].ToString().Trim() vsAcctNo == dtClone.Rows[j][1].ToString().Trim() vsTransDate == dtClone.Rows[j][8].ToString().Trim())

 //如果重复了，进行记录

 repeatExcel += "第" + (i + 1).ToString() + "行\r\n";

 break;

 return repeatExcel;

 #endregion

小注：

clone应该修改为为copy

二、检验Excel中数据是否与数据库中数据重复的方式有：

       1、遍历Table并将其中每条数据，在数据库中检验重复。
        这种方式适用于Table中数据比较少（100以内），而数据库中要对比表很大的情况。因为这种方式要每对比一条数据，都要连接数据库，并执行查询，很费时间。
        大体测试了一下，Excel中有2000条数据，仅仅在数据库中查询，就消耗了7分40秒即4601000 毫秒(ms)，大约一条数据耗时：2300.5毫秒
        其实，使用方式2导入2000条，耗时也比方式1导入100条，耗时少。
        2、将数据库中要对比的表数据取到一个dataset中，遍历Table并将其中每条数据，在dataset中检验重复，代码如下：

 strTemp = "AcctNo=" + obZH.ToString() + " and TransDate=" + obRQ.ToString() + " and SubAcctNo=" + obDFZH.ToString() + "";

 rowsTemp = dsTemp.Tables[0].Select(strTemp);

 if (rowsTemp.Length 0)

 //如果重复了，进行记录

 repeatDj += "第" + v.ToString() + "行\r\n";

 } 

layui2.0数据表格导出复杂表头EXCEL解决方案,table2excel layui是一套面向所有层次的前后端开发者，零门槛开箱即用的前端UI解决方案。很多的后端开发在开发后台系统时候都会选择它。 数据表格组件也是使用非常频繁的，它可以快速从api得到数据并进行处理渲染成表格，并且还有排序、总计、导出表格等等功能。
再见，Excel数据透视表；你好，pd.pivot_table Excel作为Office常用办公软件之一，其在一名数据分析师的工作日常中也占有一定地位，比如个人就常常倾向于依赖Excel完成简单的数据处理和可视化作图，其中数据处理部分则主要是运用内置函数+数据透视表两大部分。 Excel数据透视表虽好，但在pandas面前它也有其不香的一面！