C# 多线程处理List数据
2024-08-25 01:14:42
代码思路
将要处理的数据放到ConcurrentQueue
中,然后开启多个线程去处理数据,处理完成后,再到队列中获取下一个待处理数据。
ConcurrentQueue
表示线程安全的先进先出 (FIFO) 集合,属于System.Collections.Concurrent
命名空间下的一个数据结构
直接上代码
/// <summary>
/// 多线程处理数据(无返回值)
/// </summary>
/// <typeparam name="T">数据类型</typeparam>
/// <param name="list">待处理数据</param>
/// <param name="action">数据处理方法(有参数无返回值)</param>
/// <param name="count">处理线程数量</param>
/// <param name="waitFlag">是否等待执行结束</param>
static void RunTask<T>(List<T> list, Action<T> action, int threadCount = 5, bool waitFlag = true)
{
ConcurrentQueue<T> queue = new ConcurrentQueue<T>(list);
Task[] tasks = new Task[threadCount];
for (int i = 0; i < threadCount; i++)
{
tasks[i] = Task.Run(() =>
{
while (queue.TryDequeue(out T t))
{
action(t);
}
});
}
if (waitFlag)
{
Task.WaitAll(tasks);
}
}
/// <summary>
/// 多线程处理数据(返回处理后列表)
/// </summary>
/// <typeparam name="T">数据类型</typeparam>
/// <param name="list">待处理数据</param>
/// <param name="func">数据处理方法(有参数有返回值)</param>
/// <param name="threadCount">处理线程数量</param>
/// <returns>数据处理后结果</returns>
static List<T> RunTask<T>(List<T> list, Func<T, T> func, int threadCount = 5)
{
var result = new List<T>();
ConcurrentQueue<T> queue = new ConcurrentQueue<T>(list);
Task<List<T>>[] tasks = new Task<List<T>>[threadCount];
for (int i = 0; i < threadCount; i++)
{
tasks[i] = Task.Run<List<T>>(() =>
{
var rList = new List<T>();
while (queue.TryDequeue(out T t))
{
rList.Add(func(t));
}
return rList;
});
}
Task.WaitAll(tasks);
for (int i = 0; i < threadCount; i++)
{
result.AddRange(tasks[i].Result);
}
return result;
}
调用方法
List<int> list = new List<int>() { 1, 2, 3, 4, 5, 6, 7, 8, 9 };
//输出列表中的数据,且加上“action”字符前缀
RunTask<int>(list, d => { Console.WriteLine("action" + d); });
//对列表中数据都执行 “*2” 的操作
var result = RunTask<int>(list, d => { return d * 2; });
result.ForEach(d => Console.WriteLine(d));
最后的话
上面的代码只是简单的实现了对数据的处理,并没有考虑到对内存的使用限制,一般的项目中使用还是可以的。
最后我尝试了下,生成一个100M的列表,然后将其加载到ConcurrentQueue
,监控程序内存占用,发现没有很大的内存占用变化。
最新文章
- Selenium+Python的环境配置
- 前端手札--meta标记篇
- 【Zeyphr】分页查询与修改
- mysql、sql server、oracle数据库分页查询及分析(操作手册)
- Linux日志
- MVC神韵---你想在哪解脱!(十一)
- Linux常见面试题
- 跟我一起学extjs5(17--Grid金额字段单位MVVM方式的选择)
- 深入理解 Javascript 面向对象编程(转)
- Oracle 归档路径
- JavaScript基本概念(变量和数据类型)
- perl 改变对象属性
- js实现购买数量加减效果
- 曾经的ps的图片
- cocoapods使用 swift注意事项
- C/C++(static)
- OGC标准服务 WMS WCS WFS WPS
- File 文件
- 【UML】NO.51.EBook.5.UML.1.011-【UML 大战需求分析】- 时序图(Timing Diagram)
- TwemProxy Redis架构
热门文章
- PlayJava Day011
- 一个小事例,了解golang通道阻塞模式
- String trim() ,去除当前字符串两边的空白字符
- h5本地存储登录页面实现记住密码功能
- qt构建错误: dependent ";*.h"; does not exist.
- WKWebView使用遇到的坑--加载本地html及JS交互
- 微信小程序访问webservice(wsdl)+ axis2发布服务端(Java)
- 模板引擎Jinja2的基本用法
- IDEA设置默认WorkingDirectory
- windows10 设置 socks5 代理