一、爬虫的步骤
1、 需求分析(人做)
2、寻找网站(人)
3、下载网站的返回内容(requests)
4、通过返回的信息找到需要爬取的数据内容(正则表达式-re,xpath-lxml)
5、存储找到的数据内容(mysql)
二、requests
import requests url = 'http://www.baidu.com/' response = requests.get(url) print(response)
返回当前url的html信息,(其他url还可能获取图片等)
Response[200],Response是一个类,这个类重写了__str__方法()
返回值,如果一个url能正常返回html内容,返回值就是200
处理乱码的方式
1.查看编码方式:右键检查—>找到head—>charset就是编码方式
2.通过response指定编码方式
response.encoding = 'utf-8' print(response.text) print('=' * 30) print(response.content)
三、http协议
1.协议:即双方遵守的语言,相当于语言,相同的语言能够相互理解
2.HTTP协议
方法:GET POST
GET:通过URLl获取网站的信息,不改变网站的状态(不改变服务器的任何内容)
POST:通过URL向网站传输信息,改变网站的状态(POST比GET多from/body信息)
import requests form = { 'kw':'同' } url = 'https://fanyi.baidu.com/sug' response = requests.post(url, data = form) print(response.text)
HEAD:跟GET类似,但只有head信息s
OPTIONS:PUT通常指定了资源的存放位置
PUT:跟POST类似,但通常指定了资源的存放位置
DELET:删除某个资源
3.HTTP协议的传输
Request —URL + request headers(请求头信息)
Response —HTML ++ responce headers(返回头信息)
General
Request URL: https://www.baidu.com/
Request Method: GET requests的获取方法
Status Code: 200 OK 返回值
Remote Address: 14.215.177.39:443 服务器名称
Referrer Policy: no-referrer-when-downgrade
4.请求头信息中重要的三个信息
a)User-Agent —身份是什么
b)Referer —跳转网页是什么(即现在的网页是从哪个网页来的)
c)cookie —本地存储信息的—与服务器的session一 一对应
添加的顺序:a—>b—>c如果能够获取,不再添加
如果加上都不行,把headers全部复制下来
import requests url = 'https://www.xicidaili.com/nn/'
添加请求头信息,字典的方式写入
headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36' } response = requests.get(url, headers = headers) with open('xicidaili.txt', 'wb') as f: f.write(response.content)
5.url的组成
1.协议部分,常见的有"http:", “ftp:”
2.域名部分,如"www.baidu.com",也可以用IP地址代替
3.端口部分,跟在域名后面的是端口,域名和端口用":“作为分隔符,端口不是必须的,如果省略端口,采用默认端口,常见的端口"8080”
4.虚拟目录部分:从域名(端口)后面第一个“\”到最后一个“\”为止,是虚拟目录部分
5.文件名部分:从最后一个"“到”?“为止,或者从最后一个”“到”#“为止,或者从最后一个”“到最后
6.参数部分:从”?“开始到”#“为止之间的部分为参数部分,也叫搜索部分,查询部分。参数与参数之间用”&“作为分位符
7.锚部分:从”#"开始到最后,都是锚部分,他的作用是跳转到本页面的子目录下,不加载新的页面
6.Ajax:异步加载,即url不变,经行操作后页面发生变化,去看network里的XHR
7.json
import requests import json form = { 'kw':'同' } url = 'https://fanyi.baidu.com/sug' response = requests.post(url, data = form)
# json是一个包,函数loads的作用是输入一个字符串,输出这个json字符串的python类型数据
json_dict = json.loads(response.text) print(response.text) print("=" * 30) print(json_dict) translated = json_dict['data'][0]['v'] print("翻译后的内容是:", translated)
8.去重
1、set的实现方式
通过hash函数和hash表实现的,(分而治之的思想)如10000 % 20把这些数分为20类
2、位图
比如存100000个不重复的数字,0-1000000之间,int形,一个int要占32bit,位图即给10000位,数字0存在写入1,不存在写入0,以此类推
3、布隆过滤器
对于很多url,用hash函数对每个URL分组,对应一个数字,再根据这些数字做位图