精彩牛耳,用心缔造

爬虫基础—— HTTP 基本原理

作者: 编辑: 来源: 发布日期: 2019.01.17
信息摘要:
什么是爬虫:自动提取数据的程序。HTTP:-URI:统一资源标志符-URL:统一资源定位符-URN:统一资源名称例如:htt://githu…

什么是爬虫:自动提取数据的程序。

HTTP :

- URI : 统一资源标志符

- URL : 统一资源定位符

- URN : 统一资源名称

例如: https://github.com/favicon.ico 是 github 的网站图标链接,它是一个 URL,也是一个 URI

URI 是 URL 的子集

URL 由 URI 和 URN 构成

超文本「hypertext」

在浏览器里看到的网页就是超文本解析而成的,其网页源码是一系列HTML 代码,里面包含了一系列标签,比如 img 显示图片,p 指定显示段落等

浏览器解析这些标签后,便形成了平时看到的网页,而网页的源码HTML 就可以称作超文本。如下面右边的「代码」:

HTTP : 超文本传输协议

HTTPS : 是以安全为目标的 HTTP 通道,即 HTTP 下加入了 SSL 层,简 称 HTTPS

HTTP 请求

请求,由客户端向服务端发出,可以分为4 部分内容 :

请求方法、-请求网址、请求头、请求体,其逻辑关系如下:

1、请求方法

- GET: 请求页面,并返回页面内容

- POST : 大多用于提交表单过上传文件,数据包含在请求中

- HEAD : 类似于 GET 请求,只不过返回的相应中没有具体的内容,用于       获取报头

- PUT : 从客户端向服务器传送的数据取代指定文档的内容

- DELETE : 请求服务器删除指定的页面

- CONNECT : 把服务器当作跳板,让服务器代替客户端访问其他网页

- OPTIONS : 允许客户端查看服务器的性能

- TRACE : 回显服务器收到的请求,主要用于测试或诊断

例如,在百度中搜索python,这就是一个 GET 请求,链接为 https://www.baidu.com/s?wd=python,其中 URL 中包含了请求的参数信息,这里参数 wd 表示要搜寻的关键字。POST 请求大多在表单提交时发起,比如,对于一个登录表单,输入用户名和密码后,点击 "登录" 按钮,这通常会发起一个 POST 请求,其数据通常以表单的形式传输,而不会体现在 URL 中。

2、请求的网址

请求的网址,即统一资源定位符URL ,它可以唯一确定我们想请求的资源。

3、请求头

请求头,用来说明服务器要使用的附加信息,比较重要的信息有Cookie、Referer、User-Agent等

- Accept : 请求报头域,用于指定可接受哪些类型的信息

- Accept-Language : 指定客户端可接受的语言类型

- Accept -Encoding : 指定客户端可接受的内容编码

- Host : 用于指定请求资源的主机 IP 和端口号,其内容为请求 URL 的原始服务器或网关的位置

- Cookie : 网站为了辨别用户进行会话跟踪而存储在用户本地的数据,主要功能是维持当前访问会话

- Referer : 此内容用来标识这个请求是从哪个页面发过来的

- User-Agent : 简称 UA ,是一个特殊的字符串头,可以使服务器识别客户使用的操作系统及版本、浏览器等版本信息 。再做爬虫时加上此信息,可以伪装为浏览器; 如果不加,很可能会被识别出为爬虫

- Content-Type : 互联网媒体类型或者 MIME 类型,在 HTTP 协议消头中,它用来表示具体请求中的媒体类型信息

4、请求体

请求体一般承载的内容是POST 请求中的表单数据

响应

响应,由服务端返回给客户端,可以分为三部分,响应状态代码、响应头和响应体

 

响应状态代码

响应状态代码表示服务器的相应状态

响应头

响应头包含了服务器对请求的应答信息

响应体

响应的正文数据都在响应体中,「在做爬虫时,主要通过响应体得到网页的源码、JSON数据等,然后从中 做响应内容的提取」

牛耳推荐资讯
教育厅公布线下复学通知,这期间做好这四件事

教育厅公布线下复学通知,这期间做好这四件事

一场突如其来的疫情似乎让一切放慢了脚步,但是“停课不停学”,深圳、广州、武汉、杭州、北京,湖北、云南、江苏……疫情期间,全国20多省市,通过搭建在线课堂,助力数千万学生“不停学”。近日,湖南省出台最新线下复课时间,预计在4月上旬至中旬陆续错峰开学。这个超长假期除了每天关注疫情外,线上学习也成了一......
2020-03-31
牛耳教育-Java开发稳步进阶之不容忽视的“索引”

牛耳教育-Java开发稳步进阶之不容忽视的“索引”

作为Java工程师,MySQL数据库的灵活运用是必须掌握的技能。而“索引”作为数据库的两大神器之一,有很多初学Java的同学在接触时感觉无从下手,接下来我们把MySQL数据库索引相关的知识点仔细梳理一遍。一、覆盖索引如果一个索引包含了满足SQL语句中字段与条件的数据,那么它就叫做覆盖索引。覆盖索引只需要在一棵索引......
2020-03-30
牛耳教育丨Java开发稳步进阶之JVM内存区域

牛耳教育丨Java开发稳步进阶之JVM内存区域

Java语言最重要的特点之一:跨平台使用,正是由于JVM的存在。想要Java开发稳步进阶,学JVM这条路绕不开。为什么要学JVM我们都知道,要做Java开发,必须在你的电脑上安装JDK才行,安装JDK之后里面会有一个JRE的目录,JRE提供了软件环境----JVM。在开发过程中当我们出现内存泄漏、内存溢出的时候我们不应该想到-Xm去设置......
2020-03-27

咨询热线

400-0731-162
  
    • *

    • *