网络爬虫，其实叫作网络数据采集更容易理解。就是通过编程向网络服务器请求数据(HTML表单)，然后解析HTML，提取出自己想要的数据。因为很方便，但是很多人可能一开始还是不会这个技术，下面我们就来说说入门级的爬虫技术。
入门Python爬虫教程
01了解什么是爬虫，它的基本流程是什么?
网络爬虫，其实叫作网络数据采集更容易理解。
就是通过编程向网络服务器请求数据(HTML表单)，然后解析HTML，提取出自己想要的数据。
基本流程归纳为四大步：
1.发起请求
通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，然后等待服务器响应。这个请求的过程就像我们打开浏览器，在浏览器地址栏输入网址：www.baidu.com，然后点击回车。这个过程其实就相当于浏览器作为一个浏览的客户端，向服务器端发送了 一次请求。
2.获取响应内容
如果服务器能正常响应，我们会得到一个Response，Response的内容便是所要获取的内容，类型可能有HTML、Json字符串，二进制数据(图片，视频等)等类型。这个过程就是服务器接收客户端的请求，进过解析发送给浏览器的网页HTML文件。
3.解析内容
得到的内容可能是HTML，可以使用正则表达式，网页解析库进行解析。也可能是Json，可以直接转为Json对象解析。可能是二进制数据，可以做保存或者进一步处理。这一步相当于浏览器把服务器端的文件获取到本地，再进行解释并且展现出来。
4.保存数据
保存的方式可以是把数据存为文本，也可以把数据保存到数据库，或者保存为特定的jpg，mp4 等格式的文件。这就相当于我们在浏览网页时，下载了网页上的图片或者视频。
02爬虫能抓取什么样的数据?
1.爬虫能够抓取网页文本数据，如HTML文档，json格式文本等。
2.可以抓取视频文件。
3.图片文件，获取到的是二进制文件，保存为图片格式。
4.其他文件，只要是请求到的都能获取。
03网站爬虫例子
模拟淘宝自动登录，登录过程完全是自动化，不需要手动输入登录信息：
是不是很好玩，大家要是觉得有意思的话，可以参考以上的小编介绍的方法进行简单的入门，之后还可以进阶更多的。
评论