Requests库基本使用

Requests库基本使用 requests是python实现的最简单易用的HTTP库，建议爬虫使用requests import requests url https// 获取某个网页 import requests r requests.gethttps// printr Response [200] printtyper class requests.models.Response printr.status_code 200 各种请求 发送一个 HTTP POST 请求 r requests.posthttp//httpbin.org/post,data {keyvalue} r requests.deletehttp//httpbin.org/delete 发送一个 HTTP delete 请求 r requests.headhttp//httpbin.org/get 发送一个 HTTP head 请求 r requests.optionshttp//httpbin.org/get 发送一个 HTTP options 请求 get 传递URL参数 键值对 response1 requests.gethttp//httpbin.org/getkey1value1 printresponse1.url http//httpbin.org/getkey1value1 requests提供了params关键字参数来传递参数 parameter { key1value1, key2value2 } response2 requests.gethttp//httpbin.org/get,params parameter printresponse2.url http//httpbin.org/getkey1value1key2value2 还可以将一个列表作为值传入 parameter { key1value1, key2[value21,value22] } response3 requests.gethttp//httpbin.org/get,params parameter printresponse3.url http//httpbin.org/getkey1value1key2value21key2value22 注意字典里值为 None 的键都不会被添加到 URL 的查询字符串里。 parameter { key1value, key2None } response4 requests.gethttp//httpbin.org/get,params parameter printresponse4.url http//httpbin.org/getkey1value 响应内容 我们能读取服务器响应的内容。再次以 GitHub 时间线为例 Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。 response requests.gethttps// printresponse Response [200] printresponse.text Json格式 请求发出后，Requests 会基于 HTTP 头部对响应的编码作出有根据的推测。当访问 r.text 之时，Requests 会使用其推测的文本编码。可以找出 Requests 使用了什么编码，并且能够使用 r.encoding 属性来改变它 printresponse.encoding utf-8 使用 r.content 来找到编码，然后设置 r.encoding 为相应的编码 printresponse.encoding ISO-8859-1 改变编码 response.encoding ISO-8859-1 二进制响应内容 以字节的方式访问请求响应体，对于非文本请求 printtyperesponse.content printtyperesponse.text response.text返回的是Unicode型的数据。---文本 response.content返回的是bytes型也就是二进制的数据。-----图片等 但是两者打印输出是一样的 Json响应内容 Requests 中有一个内置的 JSON 解码器，处理 JSON 数据 response requests.geturl printresponse.json json数据 json成功调用并不意外者响应成功，有的服务器会在失败的响应中包含一个 JSON 对象（比如 HTTP 500 的错误细节需要status_code判断 printresponse.status_code 200 printresponse.raise_for_status none 原始响应 暂未看懂，先略过 定制请求头 如果想为请求添加 HTTP 头部，只要简单地传递一个 dict 给 headers 参数就可以了。 以知乎为例子 response requests.gethttps// printresponse.text 报错 此时会报错，因为访问知乎需要头部信息，在谷歌浏览器输入chrome//version，就可以得到用户代理 image import requests new_headers { User-AgentMozilla/5.0 Windows NT 10.0; WOW64 AppleWebKit/537.36 KHTML, like Gecko Chrome/65.0.3325.146 Safari/537.36 } response requests.gethttp