c# 并行计算(大量循环处理的场景下)
c# 并行计算(大量循环处理的场景下)
并行计算部分
沿用微软的写法,System.Threading.Tasks.::.Parallel类,提供对并行循环和区域的支持。 我们会用到的方法有For,ForEach,Invoke。
一、简单使用
首先我们初始化一个List用于循环,这里我们循环10次。(后面的代码都会按这个标准进行循环)
Code
- Program.Data = new List<int>();
- for (int i = 0; i < 10; i++)
- {
- Data.Add(i);
- }
下面我们定义4个方法,分别为for,foreach,并行For,并行ForEach。并测试他们的运行时长。
Code
- /// <summary>
- /// 是否显示执行过程
- /// </summary>
- public bool ShowProcessExecution = false;
- /// <summary>
- /// 这是普通循环for
- /// </summary>
- private void Demo1()
- {
- List<int> data = Program.Data;
- DateTime dt1 = DateTime.Now;
- for (int i = 0; i < data.Count; i++)
- {
- Thread.Sleep(500);
- if (ShowProcessExecution)
- Console.WriteLine(data[i]);
- }
- DateTime dt2 = DateTime.Now;
- Console.WriteLine("普通循环For运行时长:{0}毫秒。", (dt2 - dt1).TotalMilliseconds);
- }
- /// <summary>
- /// 这是普通循环foreach
- /// </summary>
- private void Demo2()
- {
- List<int> data = Program.Data;
- DateTime dt1 = DateTime.Now;
- foreach (var i in data)
- {
- Thread.Sleep(500);
- if (ShowProcessExecution)
- Console.WriteLine(i);
- }
- DateTime dt2 = DateTime.Now;
- Console.WriteLine("普通循环For运行时长:{0}毫秒。", (dt2 - dt1).TotalMilliseconds);
- }
- /// <summary>
- /// 这是并行计算For
- /// </summary>
- private void Demo3()
- {
- List<int> data = Program.Data;
- DateTime dt1 = DateTime.Now;
- Parallel.For(0, data.Count, (i) =>
- {
- Thread.Sleep(500);
- if (ShowProcessExecution)
- Console.WriteLine(data[i]);
- });
- DateTime dt2 = DateTime.Now;
- Console.WriteLine("并行运算For运行时长:{0}毫秒。", (dt2 - dt1).TotalMilliseconds);
- }
- /// <summary>
- /// 这是并行计算ForEach
- /// </summary>
- private void Demo4()
- {
- List<int> data = Program.Data;
- DateTime dt1 = DateTime.Now;
- Parallel.ForEach(data, (i) =>
- {
- Thread.Sleep(500);
- if (ShowProcessExecution)
- Console.WriteLine(i);
- });
- DateTime dt2 = DateTime.Now;
- Console.WriteLine("并行运算ForEach运行时长:{0}毫秒。", (dt2 - dt1).TotalMilliseconds);
- }
下面是运行结果:
这里我们可以看出并行循环在执行效率上的优势了。
结论1:在对一个数组内的每一个项做单独处理时,完全可以选择并行循环的方式来提升执行效率。
原理1:并行计算的线程开启是缓步开启的,线程数量1,2,4,8缓步提升。(不详,PLinq最多64个线程,可能这也是64)
二、 并行循环的中断和跳出
当在进行循环时,偶尔会需要中断循环或跳出循环。下面是两种跳出循环的方法Stop和Break,LoopState是循环状态的参数。
Code
- /// <summary>
- /// 中断Stop
- /// </summary>
- private void Demo5()
- {
- List<int> data = Program.Data;
- Parallel.For(0, data.Count, (i, LoopState) =>
- {
- if (data[i] > 5)
- LoopState.Stop();
- Thread.Sleep(500);
- Console.WriteLine(data[i]);
- });
- Console.WriteLine("Stop执行结束。");
- }
- /// <summary>
- /// 中断Break
- /// </summary>
- private void Demo6()
- {
- List<int> data = Program.Data;
- Parallel.ForEach(data, (i, LoopState) =>
- {
- if (i > 5)
- LoopState.Break();
- Thread.Sleep(500);
- Console.WriteLine(i);
- });
- Console.WriteLine("Break执行结束。");
- }
执行结果如下:
结论2:使用Stop会立即停止循环,使用Break会执行完毕所有符合条件的项。
三、并行循环中为数组/集合添加项
上面的应用场景其实并不是非常多见,毕竟只是为了遍历一个数组内的资源,我们更多的时候是为了遍历资源,找到我们所需要的。那么请继续看。
下面是我们一般会想到的写法:
Code
- private void Demo7()
- {
- List<int> data = new List<int>();
- Parallel.For(0, Program.Data.Count, (i) =>
- {
- if (Program.Data[i] % 2 == 0)
- data.Add(Program.Data[i]);
- });
- Console.WriteLine("执行完成For.");
- }
- private void Demo8()
- {
- List<int> data = new List<int>();
- Parallel.ForEach(Program.Data, (i) =>
- {
- if (Program.Data[i] % 2 == 0)
- data.Add(Program.Data[i]);
- });
- Console.WriteLine("执行完成ForEach.");
- }
看起来应该是没有问题的,但是我们多次运行后会发现,偶尔会出现错误如下:
这是因为List是非线程安全的类,我们需要使用System.Collections.Concurrent命名空间下的类型来用于并行循环体内。
类 | 说明 |
BlockingCollection<T> | 为实现 IProducerConsumerCollection<T> 的线程安全集合提供阻止和限制功能。 |
ConcurrentBag<T> | 表示对象的线程安全的无序集合。 |
ConcurrentDictionary<TKey, TValue> | 表示可由多个线程同时访问的键值对的线程安全集合。 |
ConcurrentQueue<T> | 表示线程安全的先进先出 (FIFO) 集合。 |
ConcurrentStack<T> | 表示线程安全的后进先出 (LIFO) 集合。 |
OrderablePartitioner<TSource> | 表示将一个可排序数据源拆分成多个分区的特定方式。 |
Partitioner | 提供针对数组、列表和可枚举项的常见分区策略。 |
Partitioner<TSource> | 表示将一个数据源拆分成多个分区的特定方式。 |
那么我们上面的代码可以修改为,加了了ConcurrentQueue和ConcurrentStack的最基本的操作。
Code
- /// <summary>
- /// 并行循环操作集合类,集合内只取5个对象
- /// </summary>
- private void Demo7()
- {
- ConcurrentQueue<int> data = new ConcurrentQueue<int>();
- Parallel.For(0, Program.Data.Count, (i) =>
- {
- if (Program.Data[i] % 2 == 0)
- data.Enqueue(Program.Data[i]);//将对象加入到队列末尾
- });
- int R;
- while (data.TryDequeue(out R))//返回队列中开始处的对象
- {
- Console.WriteLine(R);
- }
- Console.WriteLine("执行完成For.");
- }
- /// <summary>
- /// 并行循环操作集合类
- /// </summary>
- private void Demo8()
- {
- ConcurrentStack<int> data = new ConcurrentStack<int>();
- Parallel.ForEach(Program.Data, (i) =>
- {
- if (Program.Data[i] % 2 == 0)
- data.Push(Program.Data[i]);//将对象压入栈中
- });
- int R;
- while (data.TryPop(out R))//弹出栈顶对象
- {
- Console.WriteLine(R);
- }
- Console.WriteLine("执行完成ForEach.");
- }
ok,这里返回一个序列的问题也解决了。
结论3:在并行循环内重复操作的对象,必须要是thread-safe(线程安全)的。集合类的线程安全对象全部在System.Collections.Concurrent命名空间下。
四、返回集合运算结果/含有局部变量的并行循环
使用循环的时候经常也会用到迭代,那么在并行循环中叫做 含有局部变量的循环 。下面的代码中详细的解释,这里就不啰嗦了。
Code
- /// <summary>
- /// 具有线程局部变量的For循环
- /// </summary>
- private void Demo9()
- {
- List<int> data = Program.Data;
- long total = 0;
- //这里定义返回值为long类型方便下面各个参数的解释
- Parallel.For<long>(0, // For循环的起点
- data.Count, // For循环的终点
- () => 0, // 初始化局部变量的方法(long),既为下面的subtotal的初值
- (i, LoopState, subtotal) => // 为每个迭代调用一次的委托,i是当前索引,LoopState是循环状态,subtotal为局部变量名
- {
- subtotal += data[i]; // 修改局部变量
- return subtotal; // 传递参数给下一个迭代
- },
- (finalResult) => Interlocked.Add(ref total, finalResult) //对每个线程结果执行的最后操作,这里是将所有的结果相加
- );
- Console.WriteLine(total);
- }
- /// <summary>
- /// 具有线程局部变量的ForEach循环
- /// </summary>
- private void Demo10()
- {
- List<int> data = Program.Data;
- long total = 0;
- Parallel.ForEach<int, long>(data, // 要循环的集合对象
- () => 0, // 初始化局部变量的方法(long),既为下面的subtotal的初值
- (i, LoopState, subtotal) => // 为每个迭代调用一次的委托,i是当前元素,LoopState是循环状态,subtotal为局部变量名
- {
- subtotal += i; // 修改局部变量
- return subtotal; // 传递参数给下一个迭代
- },
- (finalResult) => Interlocked.Add(ref total, finalResult) //对每个线程结果执行的最后操作,这里是将所有的结果相加
- );
- Console.WriteLine(total);
- }
结论4:并行循环中的迭代,确实很伤人。代码太难理解了。
五、PLinq(Linq的并行计算)
上面介绍完了For和ForEach的并行计算盛宴,微软也没忘记在Linq中加入并行计算。下面介绍Linq中的并行计算。
4.0中在System.Linq命名空间下加入了下面几个新的类:
类 | 说明 |
ParallelEnumerable | 提供一组用于查询实现 ParallelQuery{TSource} 的对象的方法。这是 Enumerable 的并行等效项。 |
ParallelQuery | 表示并行序列。 |
ParallelQuery<TSource> | 表示并行序列。 |
原理2:PLinq最多会开启64个线程
原理3:PLinq会自己判断是否可以进行并行计算,如果不行则会以顺序模式运行。
原理4:PLinq会在昂贵的并行算法或成本较低的顺序算法之间进行选择,默认情况下它选择顺序算法。
在ParallelEnumerable中提供的并行化的方法
ParallelEnumerable 运算符 | 说明 |
AsParallel() | PLINQ 的入口点。指定如果可能,应并行化查询的其余部分。 |
AsSequential() | 指定查询的其余部分应像非并行 LINQ 查询一样按顺序运行。 |
AsOrdered() | 指定 PLINQ 应保留查询的其余部分的源序列排序,直到例如通过使用 orderby 子句更改排序为止。 |
AsUnordered() | 指定查询的其余部分的 PLINQ 不需要保留源序列的排序。 |
WithCancellation() | 指定 PLINQ 应定期监视请求取消时提供的取消标记和取消执行的状态。 |
WithDegreeOfParallelism() | 指定 PLINQ 应当用来并行化查询的处理器的最大数目。 |
WithMergeOptions() | 提供有关 PLINQ 应当如何(如果可能)将并行结果合并回到使用线程上的一个序列的提示。 |
WithExecutionMode() | 指定 PLINQ 应当如何并行化查询(即使默认行为是按顺序运行查询)。 |
ForAll() | 多线程枚举方法,与循环访问查询结果不同,它允许在不首先合并回到使用者线程的情况下并行处理结果。 |
Aggregate() 重载 | 对于 PLINQ 唯一的重载,它启用对线程本地分区的中间聚合以及一个用于合并所有分区结果的最终聚合函数。 |
下面是PLinq的简单代码
Code
- /// <summary>
- /// PLinq简介
- /// </summary>
- private void Demo11()
- {
- var source = Enumerable.Range(1, 10000);
- //查询结果按source中的顺序排序
- var evenNums = from num in source.AsParallel().AsOrdered()
- where num % 2 == 0
- select num;
- //ForAll的使用
- ConcurrentBag<int> concurrentBag = new ConcurrentBag<int>();
- var query = from num in source.AsParallel()
- where num % 10 == 0
- select num;
- query.ForAll((e) => concurrentBag.Add(e * e));
- }
上面代码中使用了ForAll,ForAll和foreach的区别如下:
相关文章
- 辛巴学院-Unity-剑英的c#提高篇(一)主循环
- C# Expression 树转化为SQL语句(一)
- C#如何调用其他.config配置文件,就是2个乃至3个以上的config文件
- c#中@标志的作用 C#通过序列化实现深表复制 细说并发编程-TPL 大数据量下DataTable To List效率对比 【转载】C#工具类:实现文件操作File的工具类 异步多线程 Async .net 多线程 Thread ThreadPool Task .Net 反射学习
- C#订阅与发布标准实现 visual studio code .net 开发 设计模式之☞策略模式 C#字符串转二进制、二进制转字符串 c# 接口的协变和逆变 c# 使用迭代器来创建可枚举类型 博客园首页新随笔联系订阅管理 随笔 - 117 文章 - 0 评论 - 57 c# 创建,加载,修改XML文档
- C# DateTime的11种构造函数 [Abp 源码分析]十五、自动审计记录 .Net 登陆的时候添加验证码 使用Topshelf开发Windows服务、记录日志 日常杂记——C#验证码 c#_生成图片式验证码 C# 利用SharpZipLib生成压缩包 Sql2012如何将远程服务器数据库及表、表结构、表数据导入本地数据库
- EF+LINQ事物处理 C# 使用NLog记录日志入门操作 ASP.NET MVC多语言 仿微软网站效果(转) 详解C#特性和反射(一) c# API接受图片文件以Base64格式上传图片 .NET读取json数据并绑定到对象
- c#打包文件解压缩 C#中使用委托、接口、匿名方法、泛型委托实现加减乘除算法 一个简单例子理解C#的协变和逆变 对于过长字符串的大小比对
- 利用反射快速给Model实体赋值 使用 Task 简化异步编程 Guid ToString 格式知多少?(GUID 格式) Parallel Programming-实现并行操作的流水线(生产者、消费者) c# 无损高质量压缩图片代码 8种主要排序算法的C#实现 (一) 8种主要排序算法的C#实现 (二)
- C#字符串数组排序 C#排序算法大全 C#字符串比较方法 一个.NET通用JSON解析/构建类的实现(c#) C#处理Json文件 asp.net使用Jquery+iframe传值问题
- C#编译器优化那点事 c# 如果一个对象的值为null,那么它调用扩展方法时为甚么不报错 webAPI 控制器(Controller)太多怎么办? .NET MVC项目设置包含Areas中的页面为默认启动页 (五)Net Core使用静态文件 学习ASP.NET Core Razor 编程系列八——并发处理
- C#【多线程篇】线程池的使用与线程终止继续
- 《C#多线程编程实战(原书第2版)》——3.3 向线程池中放入异步操作
- 在C#中判断某个类是否实现了某个接口
- c#中使用消息循环机制发送接收字符串的方法和数据类型转换
- C#中发送消息给指定的窗口到消息循环
- C#String.Split (string[], StringSplitOptions) 多参数分割得到数组
- C#操作配置文件中appSettings,connectionStrings节点
- Innershar C#中Skip和Take的用法
- C# 映射数据库字段
- c#程序集
- C#中的反射解析及使用(转)
- 一种非常巧妙的读取串口数据的方法--C#
- C# windowform Skype發送信息
- 《C#零基础入门之百识百例》(十五)循环结构 while语句 -- N阶乘
- 《C#零基础入门之百识百例》(四十一)类的定义和使用 -- 鸡兔同笼
- C# 委托进阶
- c# 并行计算(大量循环处理的场景下)
- C# 知识目录
- c# 并行计算(大量循环处理的场景下)
- C#与.NET Framework c#编程语言,和java是一样的。(c#,java) -->javaweb,asp.net