【周报】 张智雄周报(4-15) 正常
1.周一至周三主要准备计算复杂性期末考试
2.完成oschina_blog的python爬虫编写,主要解决:
1.ajax动态加载情况下页面内容获取
2.在列表页无总页数情况下,制定爬取所有页并停止的策略
3.研究爬虫代理问题,制定的实现思路是:编写独立的获取网上共享代理ip的程序,并使用代理工具squid来统一管理,与爬虫程序解耦
4.测试爬虫可用性和稳定性
主题 从 张智雄周报(4-1) 变更为 张智雄周报(4-15)
© Copyright 2007~2021 国防科技大学Trustie团队 & IntelliDE 湘ICP备 17009477号
加入QQ群
关注微信APP
预览