Python3爬虫(六):分析某软件的链接,并制作拓客功能

Author:baiyucraft

BLog: baiyucraft’s Home

IDE:PyCharm


一、前言

  在爬取之前,博主翻看了一些网上的教程,发现有些爬取Pixiv的教程是要模拟登陆的,为什么呢?

  其实需要模拟登陆是因为他们爬取的个人中心的首页中的推荐内容,熟悉这个网站的都知道,首页推荐的图片质量都不是很高,即使登陆了,用搜索框去搜索相关标签的图片,没有高级会员,图片质量也不高,所以作为平常人的我们,一般只是看看排行榜上的作品。

  那我们就明确了自己的目标——爬取日排行榜、周排行榜以及月排行榜中的内容,本篇教程极其详细,字数较多,之前教程中讲过的内容不再阐述,要是有不理解的地方之前教程中都有。

  准备工作:

  • 导入requests包和BeautifulSoup4包,没有的可以看博主之前的教程

  接下来我们就可是一步步分析吧!

二、实战开始

1.分析排行榜网站链接

  我们首先点击首页中的的排行榜链接:

https://******/ranking.php

  这个网址并看不出来什么,我们看看页面:


Python3爬虫(六):分析某软件的链接,并制作拓客功能
http://baiyucraft.top/Spider/Spider-python-6.html
作者
baiyucraft
发布于
2021年5月18日
许可协议