有哪些不用WiFi不要wifi的小游戏戏

来源：蜘蛛抓取(WebSpider) 时间：2019-07-02 13:13 标签： 不要wifi的小游戏

我们需要下载几个库怎么下载呢？打开pycharm依次点击File，再点开Settings如下图所示。

打开后会出现这个界面点击你的项目名字（project：（你的项目名字））之后在project  interpreter下，点击加号洏后下载我们需要的库，如下图所示

本项目需要用到的是库是requests、lxml、fake_useragent，如下图所示fake_useragent一般是没有的，需要通过下面的命令进行安装：

2、我鼡了封装方法去实现各个部分的功能首先要写一个框架：构造一个类TianTangWebsite ，然后定义一个init方法里继承（self）再定义一个主方法（main）。最后实現这个main方法依次一步一步进行实现。

3、我们把天堂网的网址拿过来构造请求头。这里说一下这个UserAgent的获取方法在打开天堂网的网站后，按下键盘上的F12键之后会进入到开发者模式，之后点开network如下图所示。

5、我们点击下一页的地址观察网址的变化如下所示：

6、然后我們用for循环去遍历这些网址，代码如下所示：

7、我们定义这个get_home()方法去请求到这个网址

9、我们需要解析得到的数据，接下来定义一个xiap的方法拿到我们请求的网址。接下来就是该项目的关键了

10、至此，针对反爬虫的措施我们已经提前做好了准备下一步将进行网页结构的分析以及网页图片地址数据的提取，并针对解析出来的图片地址予以批量下载具体实现咱们下篇文章进行详解。

本文主要内容为对图片网站进行了基本简介基于 Python 中的爬虫库 requests 、lxml、fake_useragent，提前部署了请求头模拟浏览器，针对反爬虫的措施我们已经提前做好了准备

下篇文章将带夶家进行网页结构的分析以及网页图片地址数据的提取，并针对解析出来的图片地址予以批量下载敬请期待~~

  • 想学习更多Python网络爬虫与数据挖掘知识，可前往专業网站：

我要回帖

更多关于 不要wifi的小游戏 的文章

 

随机推荐