止语博客

2019-3-3阅读(1125)评论(0)

传送口没有看上一篇文章的可以点击→传送门前往上一篇文章 本次工作 将程序进行封装将数据存储在数据库中可以自动翻页进行爬取 开始工作通过之前的爬取之后我们发现那样写不是怎么好，那么我们就将它封装一下。 通过分析我大致将它分成下面的样子： import requests import lxml.html class Tieba(obj...

2019-3-3阅读(1846)评论(0)

爬取对象 lol贴吧 爬取需求 爬取用户的发表文章的标题爬取用户的名称爬取用户的发表内容爬取帖子的发表时间将爬取的内容存放到Mongodb中实现自动翻页爬取最好改成增量爬取 工具以及使用到的库 PyCharmrequestslxmlpymongoqueue 爬前小分析首先我们进入到lol贴吧,然后查看页面,看一下我们需要爬取的内容，紫色区域内是我...

2018-12-1阅读(1213)评论(0)

简介 利用Python爬虫来实现对小说章节的爬取，然后存储起来 因为博主比较喜欢看小说，经历过找小说txt的痛苦，在学校组织的一次实训中，接触了一周左右的Python爬虫，就有了这个想法于是就做了这个出来 代码如下： import requests import re import time headers = { 'User...