关于时间

写在前面
南京突然大雨,让人很烦(可以说很讨厌下雨了)。坐在宿舍闲的无聊的我突然想写最近的一点小小的思考。如果你看题目以为我要是老生常谈的合理安排时间提高效率的话,那你就大错特错啦!本文仅仅是我最近的一些思绪。没有条理也很正常,毕竟从来都是天马行空的思维,想到哪说到哪,还请诸位读者海涵,靴靴大家!

阅读更多
scrapy框架学习

为什么用框架

当然是因为框架可以帮助把我们的爬虫爬取速度变得更快,爬虫更健壮。

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。

框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。

阅读更多
scrapy安装以及运行相关事项

安装scrapy

我的电脑环境: Windows 10
python 环境 :python 3.6

阅读更多
多线程爬虫实现

优化爬取糗事百科段子的爬虫

阅读更多
根据所学做小爬虫案例

根据所学开始实战

需求; 爬取糗事百科热门的所有段子,以及发帖人的年纪和性别,头像等等

技术栈: lxml 和 requests

步骤分析:

  • 获取url_list
  • 发送请求获取响应
  • 分析提取我们需要的数据
  • 保存数据
阅读更多