《Python Web开发实战》PDF电子书下载
内容简介
这本书涵盖了Web开发的方方面面--Python Web开发实战
精彩短评
精彩书摘
虚拟机是双核CPU,上例开启了4个进程,从执行的结果可以发现,执行任务的就是这4个进程,更好地利用了虚拟机的CPU资源;同时也可以看到使用multiprocessing.Pool的map方法实现了带有队列功能的并发。
有一个从某段日期的日志中获得符合条件的记录的需求,其实现步骤如下:
1.解压缩日志。为了节省空间,早期的日志会压缩后再存储,每天压缩后的日志约200 GB,由非常多的小文件组成,单是解压缩这些文件就需要很长时间。
2.遍历每一行记录,记录的字段按\t分隔,需要找到符合条件的记录。
3.在符合条件的全部记录中,统计符合不同条件的记录数量。
这个需求使用单进程串行的方式运行,完成一次耗时超过24小时,且占用大量内存。笔者接手之后改进了一版:
1.遍历过程中定期执行垃圾回收。
2.修改为多进程的方式,启动与CPU核数(24核)相同的进程,每个进程通过“hash(filename)%24==0”的方式只执行对应的1/24。每个进程把符合条件的记录存进SQLite数据库。全部执行完毕后查询SQLite获得结果。
这种方法可以把时间缩短到2个多小时,比之前的版本效率提高了10倍。但还是有不合理的地方:有些日志文件相对较大,需要的时间要多一些,累积起来的结果就是有些进程先跑完了,但是还要等那些跑得慢的进程完成,等待的过程中先跑完的进程是闲置的,并没有被充分利用。
...........
关键词:Python Web开发实战pdf电子书下载资源,八零电子书网站,.PDF格式;
声明:本站分享的pdf电子书《Python Web开发实战》资源来源于网络,仅用于学习和交流!请在下载后24小时内删除。禁用于商业用途!
转载请注明出处!本文地址: https://www.xuexi33.com/dzs/w16040.html喜欢读"Python Web开发实战"的人也喜欢的电子书
最新PDF电子书
- 《酒常识速查速用大全集》明道2014年6.0分 08-20
- 《历史不曾远去》吴晗2018年7.8分 08-20
- 《阿尔比恩的种子》大卫·哈克特·费舍尔2018年8.8分 08-20
- 《互动:Facebook高管20年高效运营策略》詹妮弗·杜尔斯基2019年5.8分 08-20
- 《华杉讲透《大学中庸》》2019年8.3分 08-20
- 《较量:乐观的经济学与悲观的生态学》保罗·萨宾2019年7.4分 08-20
- 《棉花帝国》斯文·贝克特2019年8.4分 08-20
- 《青年变革者:梁启超(1873—1898)》许知远2019年7.6分 08-20
- 《宋徽宗:天下一人》伊沛霞2018年7.9分 08-20
- 《咏远有李》李咏2009年7.4分 08-19