c# 并行计算(大量循环处理的场景下)
c# 并行计算(大量循环处理的场景下)
并行计算部分
沿用微软的写法,System.Threading.Tasks.::.Parallel类,提供对并行循环和区域的支持。 我们会用到的方法有For,ForEach,Invoke。
一、简单使用
首先我们初始化一个List用于循环,这里我们循环10次。(后面的代码都会按这个标准进行循环)
Code
- Program.Data = new List<int>();
- for (int i = 0; i < 10; i++)
- {
- Data.Add(i);
- }
下面我们定义4个方法,分别为for,foreach,并行For,并行ForEach。并测试他们的运行时长。
Code
- /// <summary>
- /// 是否显示执行过程
- /// </summary>
- public bool ShowProcessExecution = false;
- /// <summary>
- /// 这是普通循环for
- /// </summary>
- private void Demo1()
- {
- List<int> data = Program.Data;
- DateTime dt1 = DateTime.Now;
- for (int i = 0; i < data.Count; i++)
- {
- Thread.Sleep(500);
- if (ShowProcessExecution)
- Console.WriteLine(data[i]);
- }
- DateTime dt2 = DateTime.Now;
- Console.WriteLine("普通循环For运行时长:{0}毫秒。", (dt2 - dt1).TotalMilliseconds);
- }
- /// <summary>
- /// 这是普通循环foreach
- /// </summary>
- private void Demo2()
- {
- List<int> data = Program.Data;
- DateTime dt1 = DateTime.Now;
- foreach (var i in data)
- {
- Thread.Sleep(500);
- if (ShowProcessExecution)
- Console.WriteLine(i);
- }
- DateTime dt2 = DateTime.Now;
- Console.WriteLine("普通循环For运行时长:{0}毫秒。", (dt2 - dt1).TotalMilliseconds);
- }
- /// <summary>
- /// 这是并行计算For
- /// </summary>
- private void Demo3()
- {
- List<int> data = Program.Data;
- DateTime dt1 = DateTime.Now;
- Parallel.For(0, data.Count, (i) =>
- {
- Thread.Sleep(500);
- if (ShowProcessExecution)
- Console.WriteLine(data[i]);
- });
- DateTime dt2 = DateTime.Now;
- Console.WriteLine("并行运算For运行时长:{0}毫秒。", (dt2 - dt1).TotalMilliseconds);
- }
- /// <summary>
- /// 这是并行计算ForEach
- /// </summary>
- private void Demo4()
- {
- List<int> data = Program.Data;
- DateTime dt1 = DateTime.Now;
- Parallel.ForEach(data, (i) =>
- {
- Thread.Sleep(500);
- if (ShowProcessExecution)
- Console.WriteLine(i);
- });
- DateTime dt2 = DateTime.Now;
- Console.WriteLine("并行运算ForEach运行时长:{0}毫秒。", (dt2 - dt1).TotalMilliseconds);
- }
下面是运行结果:
这里我们可以看出并行循环在执行效率上的优势了。
结论1:在对一个数组内的每一个项做单独处理时,完全可以选择并行循环的方式来提升执行效率。
原理1:并行计算的线程开启是缓步开启的,线程数量1,2,4,8缓步提升。(不详,PLinq最多64个线程,可能这也是64)
二、 并行循环的中断和跳出
当在进行循环时,偶尔会需要中断循环或跳出循环。下面是两种跳出循环的方法Stop和Break,LoopState是循环状态的参数。
Code
- /// <summary>
- /// 中断Stop
- /// </summary>
- private void Demo5()
- {
- List<int> data = Program.Data;
- Parallel.For(0, data.Count, (i, LoopState) =>
- {
- if (data[i] > 5)
- LoopState.Stop();
- Thread.Sleep(500);
- Console.WriteLine(data[i]);
- });
- Console.WriteLine("Stop执行结束。");
- }
- /// <summary>
- /// 中断Break
- /// </summary>
- private void Demo6()
- {
- List<int> data = Program.Data;
- Parallel.ForEach(data, (i, LoopState) =>
- {
- if (i > 5)
- LoopState.Break();
- Thread.Sleep(500);
- Console.WriteLine(i);
- });
- Console.WriteLine("Break执行结束。");
- }
执行结果如下:
结论2:使用Stop会立即停止循环,使用Break会执行完毕所有符合条件的项。
三、并行循环中为数组/集合添加项
上面的应用场景其实并不是非常多见,毕竟只是为了遍历一个数组内的资源,我们更多的时候是为了遍历资源,找到我们所需要的。那么请继续看。
下面是我们一般会想到的写法:
Code
- private void Demo7()
- {
- List<int> data = new List<int>();
- Parallel.For(0, Program.Data.Count, (i) =>
- {
- if (Program.Data[i] % 2 == 0)
- data.Add(Program.Data[i]);
- });
- Console.WriteLine("执行完成For.");
- }
- private void Demo8()
- {
- List<int> data = new List<int>();
- Parallel.ForEach(Program.Data, (i) =>
- {
- if (Program.Data[i] % 2 == 0)
- data.Add(Program.Data[i]);
- });
- Console.WriteLine("执行完成ForEach.");
- }
看起来应该是没有问题的,但是我们多次运行后会发现,偶尔会出现错误如下:
这是因为List是非线程安全的类,我们需要使用System.Collections.Concurrent命名空间下的类型来用于并行循环体内。
类 | 说明 |
BlockingCollection<T> | 为实现 IProducerConsumerCollection<T> 的线程安全集合提供阻止和限制功能。 |
ConcurrentBag<T> | 表示对象的线程安全的无序集合。 |
ConcurrentDictionary<TKey, TValue> | 表示可由多个线程同时访问的键值对的线程安全集合。 |
ConcurrentQueue<T> | 表示线程安全的先进先出 (FIFO) 集合。 |
ConcurrentStack<T> | 表示线程安全的后进先出 (LIFO) 集合。 |
OrderablePartitioner<TSource> | 表示将一个可排序数据源拆分成多个分区的特定方式。 |
Partitioner | 提供针对数组、列表和可枚举项的常见分区策略。 |
Partitioner<TSource> | 表示将一个数据源拆分成多个分区的特定方式。 |
那么我们上面的代码可以修改为,加了了ConcurrentQueue和ConcurrentStack的最基本的操作。
Code
- /// <summary>
- /// 并行循环操作集合类,集合内只取5个对象
- /// </summary>
- private void Demo7()
- {
- ConcurrentQueue<int> data = new ConcurrentQueue<int>();
- Parallel.For(0, Program.Data.Count, (i) =>
- {
- if (Program.Data[i] % 2 == 0)
- data.Enqueue(Program.Data[i]);//将对象加入到队列末尾
- });
- int R;
- while (data.TryDequeue(out R))//返回队列中开始处的对象
- {
- Console.WriteLine(R);
- }
- Console.WriteLine("执行完成For.");
- }
- /// <summary>
- /// 并行循环操作集合类
- /// </summary>
- private void Demo8()
- {
- ConcurrentStack<int> data = new ConcurrentStack<int>();
- Parallel.ForEach(Program.Data, (i) =>
- {
- if (Program.Data[i] % 2 == 0)
- data.Push(Program.Data[i]);//将对象压入栈中
- });
- int R;
- while (data.TryPop(out R))//弹出栈顶对象
- {
- Console.WriteLine(R);
- }
- Console.WriteLine("执行完成ForEach.");
- }
ok,这里返回一个序列的问题也解决了。
结论3:在并行循环内重复操作的对象,必须要是thread-safe(线程安全)的。集合类的线程安全对象全部在System.Collections.Concurrent命名空间下。
四、返回集合运算结果/含有局部变量的并行循环
使用循环的时候经常也会用到迭代,那么在并行循环中叫做 含有局部变量的循环 。下面的代码中详细的解释,这里就不啰嗦了。
Code
- /// <summary>
- /// 具有线程局部变量的For循环
- /// </summary>
- private void Demo9()
- {
- List<int> data = Program.Data;
- long total = 0;
- //这里定义返回值为long类型方便下面各个参数的解释
- Parallel.For<long>(0, // For循环的起点
- data.Count, // For循环的终点
- () => 0, // 初始化局部变量的方法(long),既为下面的subtotal的初值
- (i, LoopState, subtotal) => // 为每个迭代调用一次的委托,i是当前索引,LoopState是循环状态,subtotal为局部变量名
- {
- subtotal += data[i]; // 修改局部变量
- return subtotal; // 传递参数给下一个迭代
- },
- (finalResult) => Interlocked.Add(ref total, finalResult) //对每个线程结果执行的最后操作,这里是将所有的结果相加
- );
- Console.WriteLine(total);
- }
- /// <summary>
- /// 具有线程局部变量的ForEach循环
- /// </summary>
- private void Demo10()
- {
- List<int> data = Program.Data;
- long total = 0;
- Parallel.ForEach<int, long>(data, // 要循环的集合对象
- () => 0, // 初始化局部变量的方法(long),既为下面的subtotal的初值
- (i, LoopState, subtotal) => // 为每个迭代调用一次的委托,i是当前元素,LoopState是循环状态,subtotal为局部变量名
- {
- subtotal += i; // 修改局部变量
- return subtotal; // 传递参数给下一个迭代
- },
- (finalResult) => Interlocked.Add(ref total, finalResult) //对每个线程结果执行的最后操作,这里是将所有的结果相加
- );
- Console.WriteLine(total);
- }
结论4:并行循环中的迭代,确实很伤人。代码太难理解了。
五、PLinq(Linq的并行计算)
上面介绍完了For和ForEach的并行计算盛宴,微软也没忘记在Linq中加入并行计算。下面介绍Linq中的并行计算。
4.0中在System.Linq命名空间下加入了下面几个新的类:
类 | 说明 |
ParallelEnumerable | 提供一组用于查询实现 ParallelQuery{TSource} 的对象的方法。这是 Enumerable 的并行等效项。 |
ParallelQuery | 表示并行序列。 |
ParallelQuery<TSource> | 表示并行序列。 |
原理2:PLinq最多会开启64个线程
原理3:PLinq会自己判断是否可以进行并行计算,如果不行则会以顺序模式运行。
原理4:PLinq会在昂贵的并行算法或成本较低的顺序算法之间进行选择,默认情况下它选择顺序算法。
在ParallelEnumerable中提供的并行化的方法
ParallelEnumerable 运算符 | 说明 |
AsParallel() | PLINQ 的入口点。指定如果可能,应并行化查询的其余部分。 |
AsSequential() | 指定查询的其余部分应像非并行 LINQ 查询一样按顺序运行。 |
AsOrdered() | 指定 PLINQ 应保留查询的其余部分的源序列排序,直到例如通过使用 orderby 子句更改排序为止。 |
AsUnordered() | 指定查询的其余部分的 PLINQ 不需要保留源序列的排序。 |
WithCancellation() | 指定 PLINQ 应定期监视请求取消时提供的取消标记和取消执行的状态。 |
WithDegreeOfParallelism() | 指定 PLINQ 应当用来并行化查询的处理器的最大数目。 |
WithMergeOptions() | 提供有关 PLINQ 应当如何(如果可能)将并行结果合并回到使用线程上的一个序列的提示。 |
WithExecutionMode() | 指定 PLINQ 应当如何并行化查询(即使默认行为是按顺序运行查询)。 |
ForAll() | 多线程枚举方法,与循环访问查询结果不同,它允许在不首先合并回到使用者线程的情况下并行处理结果。 |
Aggregate() 重载 | 对于 PLINQ 唯一的重载,它启用对线程本地分区的中间聚合以及一个用于合并所有分区结果的最终聚合函数。 |
下面是PLinq的简单代码
Code
- /// <summary>
- /// PLinq简介
- /// </summary>
- private void Demo11()
- {
- var source = Enumerable.Range(1, 10000);
- //查询结果按source中的顺序排序
- var evenNums = from num in source.AsParallel().AsOrdered()
- where num % 2 == 0
- select num;
- //ForAll的使用
- ConcurrentBag<int> concurrentBag = new ConcurrentBag<int>();
- var query = from num in source.AsParallel()
- where num % 10 == 0
- select num;
- query.ForAll((e) => concurrentBag.Add(e * e));
- }
上面代码中使用了ForAll,ForAll和foreach的区别如下:
相关文章
- c# 使用antlr的办法
- 辛巴学院-Unity-剑英的c#提高篇(一)主循环
- [C#] 发送 http 请求
- C#下载csv代码总结(解决中文乱码问题)
- c#中@标志的作用 C#通过序列化实现深表复制 细说并发编程-TPL 大数据量下DataTable To List效率对比 【转载】C#工具类:实现文件操作File的工具类 异步多线程 Async .net 多线程 Thread ThreadPool Task .Net 反射学习
- 请求大神,C#如何截取字符串中指定字符之间的部分 按指定字符串分割 一分为二 c# 去除字符串中的某个已知字符
- 常量,字段,构造方法 调试 ms 源代码 一个C#二维码图片识别的Demo 近期ASP.NET问题汇总及对应的解决办法 c# chart控件柱状图,改变柱子宽度 使用C#创建Windows服务 C#服务端判断客户端socket是否已断开的方法 线程 线程池 Task .NET 单元测试的利剑——模拟框架Moq
- 史上最全的CSS hack方式一览 jQuery 图片轮播的代码分离 JQuery中的动画 C#中Trim()、TrimStart()、TrimEnd()的用法 marquee 标签的使用详情 js鼠标事件 js添加遮罩层 页面上通过地址栏传值时出现乱码的两种解决方法 ref和out的区别在c#中 总结
- SQLServerframework启动报异常:Module的类型初始值设定项引发异常 [转]QQ空间、新浪微博、腾讯微博等一键分享API链接代码 window下 mongodb快速安装 数据表查询所有子/父节点 C#学习笔记1
- C#字符串数组排序 C#排序算法大全 C#字符串比较方法 一个.NET通用JSON解析/构建类的实现(c#) C#处理Json文件 asp.net使用Jquery+iframe传值问题
- c#实例化继承类,必须对被继承类的程序集做引用 .net core Redis分布式缓存客户端实现逻辑分析及示例demo 数据库笔记之索引和事务 centos 7下安装python 3.6笔记 你大波哥~ C#开源框架(转载) JSON C# Class Generator ---由json字符串生成C#实体类的工具
- C# IL DASM 使用-破解c#软件方法
- Word控件Spire.Doc 【段落处理】教程(三):在 C#、VB.NET 中管理词标题以形成目录
- c# .net的Newtonsoft.Json序列化和反序列化
- C#文件夹和文件操作
- c# 循环结构
- c#中怎么用for循环遍历DataTable中的数据
- java 和 C# 响应输出的相似度
- 《C#零基础入门之百识百例》(十四)循环结构 for语句 -- 打印乘法表
- 《C#零基础入门之百识百例》(十六)循环结构do-while语句 -- 这道题会做了吗?
- C# 查找一组数(子数组)每个元素在(另一组数)父数组的索引
- c# winform捕获全局异常,并记录日志
- C# 获取当前路径7种方法
- c#代码规则,C#程序中元素的命名规范
- c#类的定义,c#中的关健字,C#标识符