毫无疑问,在SEO分析网站结构和开放搜索引擎端抓取页面数时,对sitemap文件的分析是最好的入手点。
通常规模不是太小的网站URL数量都会超过5万条,而搜索引擎要求单个sitemap文件的数量不能超过5万条,那么在此场景下sitemap索引文件便是好的解决方法,其用来存放单个sitemap文件的URL地址,在此基础上单个sitemap文件理论上可以囊括5万*5万=25亿,对网站来讲已经足够。
这里将会为大家提供Python3实现的针对特定目标sitemap索引文件URL,提取其子sitemap文件,并提取子sitemap文件中的URL,记录对应的数量,并将提取的URL存放到本地的方法代码。
代码块有参考CSDN博主Yozz的部分代码,根据自己的用户场景进行了改良,具体代码如下:
#功能介绍,通过在线访问网站sitemap-index文件链接,抓取其中的sitemap子文件,进一步抓取子文件提取其中的URL链接存放到电脑指定文件。
#可用于特定场景下的小量级网站URL提取,手动提交-国内SEO
#可用于对特定网站sitemap文件分析其核心页面数量和分布
#可用于抓取目标分析网站的搜索引擎投放页面链接
#杰西seo提供
importxml.dom.minidomasxmldom
importurllib.request
importxml
#定义目标网站sitemapindex文件的链接地址
index_url="目标网站sitemap索引文件URL地址"
sitemap_path=sitemap子文件URL存放文件路径
url_path=抓取所有URL存放文件路径
#访问sitemapindex文件提取子sitemapURL,并且写入sitemap_url文件