公告×

尊敬的用户,项目开发模块已全面升级。为避免数据不一致问题,后续项目开发请基于新版开展,老版项目开发模块将不再维护。如果您的项目出现数据迁移不完整等问题敬请添加QQ群1071514693反馈,我们将及时处理。新版Forge使用说明和问题反馈也可通过使用讨论吧
15715?1491492894

【周报】 张智雄周报(4-15) 正常


张智雄添加于 04/15/2017 11:56

1.周一至周三主要准备计算复杂性期末考试

2.完成oschina_blog的python爬虫编写,主要解决:

  1.ajax动态加载情况下页面内容获取

  2.在列表页无总页数情况下,制定爬取所有页并停止的策略

3.研究爬虫代理问题,制定的实现思路是:编写独立的获取网上共享代理ip的程序,并使用代理工具squid来统一管理,与爬虫程序解耦

4.测试爬虫可用性和稳定性

回复(1)
  • 15715?1491492894
    张智雄 3年前

    Subject changed from 张智雄周报(4-1) to 张智雄周报(4-15)

0?1470885445
登录后可添加回复
  • 当前状态 已解决
  • 选定优先级 正常
  • 指派给 张智雄
  • 里程碑 --
  • 开始日期 04/15/2017
  • 结束日期
  • 预计工时(H) 0.00 hour
  • 完成度 100%
  • 关联Commit
问题和建议
还能输入50个字符 Submit

加入QQ群

关注微信APP


×