记一次Entity Framework 项目的优化过程

在博客园看了不少其他大神的经验。今天也抽空贡献点自己的经验（并不是说自己也是大神。。小弟还只新手程序员去年才毕业的）

好了废话不多说，直接进入主题。（具体的好坏各位看官就随便看看吧。。没有什么好坏之分，纯粹只是一次优化过程的经历。）

首先介绍下项目背景

为某政府单位做的项目，市级的。

用的是Entity Framework 的框架（具体内部如何，不便透露，尽请谅解）

然后说下数据量大概8W家企业数据，

每家企业大概会有1-2条记录

然后对这部分数据进行报表统计

一共需要统计8个类型的数据

大致表格就是14行8列的数据

然后我们对于每个单元格的数据都要去读取一下数据库。

具体请参照代码

     public DataTable mytestMethod(DateTime dtbegintime, DateTime dtendtime)

        {

            DataTable dt = new DataTable();

            dt.Columns.Add("ID", typeof(string));

            dt.Columns.Add("1", typeof(string));

            dt.Columns.Add("2", typeof(string));

            dt.Columns.Add("3", typeof(string));

            dt.Columns.Add("4", typeof(string));

            dt.Columns.Add("5", typeof(string));

            dt.Columns.Add("6", typeof(string));

            dt.Columns.Add("7", typeof(string));

            dt.Columns.Add("8", typeof(string));

            List<区> qus = Content.QuServices.GetList();

           foreach( qu in qus)

               {

                    datarow dr=dt.newrow();

            dr["1"]=获取的数据.count;

            ......

            .......

            dr["8"]=获取的数据.count;

                           dt.Rows.Add(dr);

               };

            dt.DefaultView.Sort = "1";

            dt = dt.DefaultView.ToTable();

            return dt;

        }

我们对于每张表都只能获取这个表的实体。无法做到组合操作

例如班级表学生表爱好表

就只能获取 list<班级>或者 list<学生>

如果学生里面有部分属性需要使用爱好表的操作的话

就是用懒加载的学生表。爱好表.属性来操作

第一个版本的结果就是我们可能只是用到查询出来的学生表的个数就够了

但是我们获取过来的却是list<学生表>然后 list<学生表>.count 来获取个数。

这样的话从各方面考虑都大大制约了速度。

后来我就想到了用分页的方法

我们底层会有一个分页方法

pageData 类型

包含两个属性一个是totalCount（总数）一个datalist（分页部分的数据）

然后我就想到利用分页获取也就出些了下面这部分代码

   public DataTable mytestMethod(DateTime dtbegintime, DateTime dtendtime)

        {

            DataTable dt = new DataTable();

            dt.Columns.Add("ID", typeof(string));

            dt.Columns.Add("1", typeof(string));

            dt.Columns.Add("2", typeof(string));

            dt.Columns.Add("3", typeof(string));

            dt.Columns.Add("4", typeof(string));

            dt.Columns.Add("5", typeof(string));

            dt.Columns.Add("6", typeof(string));

            dt.Columns.Add("7", typeof(string));

            dt.Columns.Add("8", typeof(string));

            List<区> qus = Content.QuServices.GetList();

           foreach( qu in qus)

               {

                    datarow dr=dt.newrow();

            dr["1"]=获取分页的数据.totalCount;//分页的pagesize 和pageindex 都传1

            ......

            .......

            dr["8"]=获取分页的数据.totalCount;

                           dt.Rows.Add(dr);

               };

            dt.DefaultView.Sort = "1";

            dt = dt.DefaultView.ToTable();

            return dt;

        }

大致就是利用分页的方法获取数据的时候只获取 1,1 的数据

这样即可以得到总数又简化了数据量

效果的话并是特别明显但也快了大概4秒的样子。。原先是17秒的现在要13秒左右

当然这肯定是不行的

然后我导师就让我用Parallel.ForEach 来代替 forearch方法。

这会速度提升非常明显，大概提升了一倍吧。原先13秒的速度如今只用 6秒左右了。但是偶尔会7-8秒的样子

另外发现parallel 非常吃性能。。如果多刷几次的话貌似就会悲剧掉。

至于Parallel的用法，大家可以自己百度一下。

这边需要注意的是 parallel 是并行处理。所以做运算的时候需要注意下，不然数据很容易出错。

最后发现显然还是用SQL 直接组合起来查询比较好。

因为不管老的怎么并行处理到最后他都是会做14*8=112 次数据查询操作。

所以最后只能继续苦逼的写SQL 组合查询了。

速度的话从6秒优化到了3秒。

本来以为使用了我们的框架就可以脱离sql语句的编写了。没想到最后还是回归了SQL的怀抱。。

哎。。第一次写这种经验类的文章

文章写的很乱。可能很多人看不懂吧，希望大家见谅。

如果发现看到最后是浪费大家的时间还请各位大神息怒息怒。

最后总结下就是从foreach 到parallel 到 SQL的过程

巴特西

记一次Entity Framework 项目的优化过程

最新文章

热门文章