2021年7月14日星期三

EF Core取出数据之后的数据循环速度优化

客户有个需求,导出页面一个月的数据,大概30W的数据需要一次性导出到EXCEL,因为之前做地太急,没有做异步导出。所以因为循环量过大,超时(1分钟超时)报错。

表结构是 一个 父表,一个子表,父表和子表是一对多的关系,还有一些其他的配置表。

优化步骤1:去掉多余的join,只保留父表,子表两个表查出数据,配置表全部取出放到内存中

优化步骤2:用.AsParallel().ForAll()方法异步循环,异步循环需要用线程安全的集合,不然会丢失数据

完成上面两个步骤后,结果还是超时,然后发现是配置表是List类型导致的,在循环内通过List取查数据,效率太低

优化步骤3:把配置表数据全部转成Dictionar......

原文转载:http://www.shaoqun.com/a/875524.html

跨境电商:https://www.ikjzd.com/

敦煌网:https://www.ikjzd.com/w/189

易佰:https://www.ikjzd.com/w/1482

stylenanda:https://www.ikjzd.com/w/1675.html


客户有个需求,导出页面一个月的数据,大概30W的数据需要一次性导出到EXCEL,因为之前做地太急,没有做异步导出。所以因为循环量过大,超时(1分钟超时)报错。表结构是一个父表,一个子表,父表和子表是一对多的关系,还有一些其他的配置表。优化步骤1:去掉多余的join,只保留父表,子表两个表查出数据,配置表全部取出放到内存中优化步骤2:用.AsParallel().ForAll()方法异步循环,异步循
去大理旅游的最佳时间是什么时候?:http://www.30bags.com/a/418298.html
去大理自由行的注意事项:http://www.30bags.com/a/418463.html
去大连旅游住哪里方便,大连旅游住宿攻略:http://www.30bags.com/a/433189.html
去大梅沙住哪里好?:http://www.30bags.com/a/416176.html
口述实录:一个少妇的做爱日记:http://lady.shaoqun.com/a/250745.html
口述:与准嫂子销魂一夜她怀上我的孩子:http://lady.shaoqun.com/m/a/38671.html
躲在瓜棚日儿媳妇。 那天我再也忍不住疯狂把儿媳妇摁在地上:http://lady.shaoqun.com/m/a/274731.html
口述实录:我帮小姨子怀孕的过程:http://www.30bags.com/m/a/249631.html
2021暑假去哪里旅游好玩省钱 暑假旅游好玩又不贵的地方 :http://www.30bags.com/a/500676.html
2021暑假去哪里旅游好玩又凉爽 暑假去这些地方玩风景美还凉快 :http://www.30bags.com/a/500677.html
女性穿高跟鞋带来的欲望、性快感和后遗症:http://lady.shaoqun.com/a/420126.html
女生的工具箱能酷到什么程度?——家用五金、木工、皮具库存大:http://lady.shaoqun.com/a/420127.html

没有评论:

发表评论

跨境电商资讯:外贸宣传平台有哪些(出口的

现在很多做外贸的人都非常关注 外贸企业怎么推广 ,而现在推广的途径和平台有很多,企业如果都做,成本和时间精力是一个问题,而且并不是所有的推广渠道都是有用的。今天云程网络就来为大家盘点几个有效的外贸推广渠道。 一、海外社交媒体营销 Facebook,领英等海外社交媒体营销在近几年得...