Python3爬虫(六):分析某软件的链接,并制作拓客功能
Author:baiyucraft
BLog: baiyucraft’s Home
IDE:PyCharm
一、前言
在爬取之前,博主翻看了一些网上的教程,发现有些爬取Pixiv的教程是要模拟登陆的,为什么呢?
其实需要模拟登陆是因为他们爬取的个人中心的首页中的推荐内容,熟悉这个网站的都知道,首页推荐的图片质量都不是很高,即使登陆了,用搜索框去搜索相关标签的图片,没有高级会员,图片质量也不高,所以作为平常人的我们,一般只是看看排行榜上的作品。
那我们就明确了自己的目标——爬取日排行榜、周排行榜以及月排行榜中的内容,本篇教程极其详细,字数较多,之前教程中讲过的内容不再阐述,要是有不理解的地方之前教程中都有。
准备工作:
- 导入requests包和BeautifulSoup4包,没有的可以看博主之前的教程
接下来我们就可是一步步分析吧!
二、实战开始
1.分析排行榜网站链接
我们首先点击首页中的的排行榜链接:
https://******/ranking.php
这个网址并看不出来什么,我们看看页面:
Python3爬虫(六):分析某软件的链接,并制作拓客功能
http://baiyucraft.top/Spider/Spider-python-6.html