洗发液

注册

 

发新话题 回复该主题

爬取条淘宝洗发水数据,拯救你 [复制链接]

1#

本文通过淘宝“防脱发洗发水”爬取和分析,来提供爬取海量淘宝商品信息的思路,除了基础爬虫外,还应该思考拿到类似的商品数据之后如何清洗,以及作为一个分析者可以从什么维度去分析。

作者

周志鹏

责编

仲培艺

其实,这篇文章灵感源自一个*局:

程序员朋友小A又在和小Z抱怨脱发问题。

小A:“以这样的掉发速度,我的发际线1年后将退化到后脑勺”。

“我听到身边80%的人都在抱怨自己的脱发问题”,小Z摸了摸自己的发际线心如止水。

小A:”有危机就有商机,防脱发洗发水最近真的是卖爆了,特别在线上,绝对占了洗发水整个行业的半壁江山以上!”

小Z总能Gt到奇怪的点:“你这样的说法不严谨,我觉得没有50%”。

小A被奇葩的问题点给气到了:“你的点怎么那么怪!不然咱们打个*好吗,我*防脱发占了50%以上,谁输谁是孙子(zi)!”

只用了3分钟,小Z就拟定好分析思路,并得到了小A的认可:

以淘宝入手,爬到最近30天洗发水关键词的销售情况,再筛选出防脱发洗发水,看一看占比多少。(顺便还可以分析分析其他数据)

说干就干,打开淘宝,搜索“洗发水”,出来的是自然排序的结果(综合了销量、价格、搜索权重等),但我们想要相关商品按销量来排序,点击“按销量排序”。

数据爬取

Part1观察并定位数据

我们想要哪些数据呢?

商品的价格、月收货(销售)人数、产品名称、店铺名称、店铺地址这几个比较直观的字段我们爬取哪几个呢?

小孩子才做选择,成年人必须全要!

虽然现在很多网址都是动态加载,需要审查元素来找相关地址,但我们在找之前,养成“先右键,选择查看源代码,看一看想要的数据有没有在静态网页”的习惯是极好的。

结果淘宝诚不欺我,所有我们想要的数据,都在源代码中,也就是说,我们用Python直接访问浏览器中的网址就可以得到目标数据。

认真看看源代码,找到更准确的定位

所有想要的数据都在一个类JSON(可以先理解为字典)的字符串中,而前面还有几十行杂乱无章的字符,很乱,但不要紧,数据在总有办法找到他们的。

Part2请求尝试

这里用一段话来比喻Python访问前的伪装:

你住在高档小区,小P这个坏小伙想伪装你进去做不可描述的事情。

他知道,门卫会根据身份象征来模糊判断是否是小区业主,所以小P先租了一套上档次的衣服和一辆称得上身份的豪车(可以理解为伪装hadrs),果然混过了门卫。但是呢,小P进进出出太频繁,而且每次停车区域都不一样,引起了门卫的严重怀疑,在一个星期后,门卫升级检验系统,通过人脸识别来验证,小P被拒绝在外,但很快,小P就通过毁容级别的化妆术(伪装cookis),完全伪装成你,竟然混过了人脸识别系统,随意出入,为所欲为。

导入相关的Python库

养成先修改hadrs的好习惯再访问:

看看状态码(表示正常访问):

目前来说,还算正常,但堂堂淘宝这么简单的一个伪装就可以爬了???不科学!!不过先继续吧,精确定位到我们需要的数据字段。

上一步,我们发现所有的数据都在一个类JSON的字符串中,理应先精确定位他首尾的大括号({}),尝试用JSON来高效解析。

首:

尾:

通过严密的排查(同学们这一步真的需要耐心去找),我们发现所有目标数据都被包裹在以pagNam开头,shopcardOff的字符中,如果能够完整截取这个大括号和里面的内容,就可以解析了:

结果,报错啊报错……

我们没有通过字符串定位拿到想要的数据,通过系统排查,发现问题出在访问,第一次访问虽然状态码是,但并没有返回源代码看到的数据:

到这里,是时候祭出万能的cookis了,操作方式,右键——审查元素——刷新网页——按照下面红框点选:

代码中进行伪装:

再次按照刚才的步骤来定位和解析数据:

一样的操作,没有报错,看来大功告“半”成!

Part3精确定位目标数据

经过前面两步的铺垫,我们已经拿到了目标数据并解析成JSON格式,现在直接可以按照访问字典的方式来精确定位数据,非常暴力(至于内部的层级结构,需要大家耐心细致的自我寻找规律):

Part4循环爬取

循环爬取的关键就在于找到网址规律,构建多个网页,用上面的代码来循环访问。

我们在网页上点击下一页,再下一页,再下下一页,很容易发现,网站变化规律的核心就是最后面

s的值,第一页是0,第二页是44,第三页是88,SoEasy~

构造一个自定义爬取页数的函数,只需要输入基础网址和要爬取的页数,要多灵活有多灵活:

接上一步的访问获取数据操作进行逐页访问,即实现了多页面爬取,部分结果预览如下:

至此,商品标题,价格,店铺名称,店铺地址,收货人数,商品的URL全部拿下,基于“防脱发洗发水”的基本数据爬取宣告完成。(完整代码在文章最后)

数据清洗

清洗之前,最好先明确分析的目的,小Z最核心的诉求是要知道脱发洗发水销售占整个洗发水大盘的比重,其次,想要进行一些其他分析,比如渠道(旗舰店、专营店、猫超等等分别占比)分布。

1.数字相关字段规整

爬取数据非常规整,并没有缺失数据。

价格也是OK的,付款人数由于包含“人收货”这个后缀,需要规整为数字格式,一行代码就OK:

2.标注出脱发相关的产品

很明显,如果主打甚至仅仅包含防脱发功效的产品几乎都会在标题注明“脱发”字样(防字其实不用加),我们需要插入一个辅助列,根据“产品标题”来判断是不是防脱发洗发水。

Python的pandas做起来是在是太高效了,还是一行代码:

注:等于-1表示在标题中没有找到“脱发”字样

“是否包含脱发字样”结果为TRUE则包含,FALSE则不包含。

3.引入一个销售指标

目前拿到的数字相关数据是“价格”、“收货人数”,用“价格”*“收货人数”引入一个“收货额”来衡量销售情况,依然是一行代码:

4.区分店铺类别

大家都有多年购买经验,对于淘宝店铺分类其实不陌生,不外乎是“旗舰店”、“专卖店”、“专营店”、“天猫超市”、“C店”(其他淘宝店铺),这里需要对店铺关键字进行检索分类,先定义一个判断函数:

然后,lifisshort,andiusPython~

亦是一行代码搞定:

数据清洗基本完成。

数据分析

1.核心目标

言归正传,目前“洗发水”类目体量巨大,(近30天)收货额达到了1.49亿元,其中防脱发洗发水以5.43%的数量占比实现.04万销售额,占比7.50%,离半壁江山相差甚远,*局胜负已定,恭喜小Z喜提孩子。

“孩子,在数据面前可不能吹牛啊”,小Z看着小A涨红了的脸语重心长道。

2.价格分布

价格深度探究应该结合产品的数量、规格等特征,这里只是给到一个简单的思路抛砖引玉:

两款产品呈现出不同的分布形态,防脱发洗发水在价格上显得些许傲娇,产品在50-元的价格段数量最多(占比51.88%),其次是0-50元的平价款。

其他洗发水则随着价格升高而数量减少,0-50元的产品占比最高,紧随其后的是50-元的产品。

防脱发洗发水价格一般高于其他洗发水价格。

3、渠道分布

不同类型洗发水(防脱发与非防脱发)渠道策略有明显的差异(肯定跟品牌战略有关),其他洗发水渠道分布相对均衡,以“旗舰店”的41%为主,“天猫超市”为辅(29%),“C店”和“专卖店”分一小杯羹。

防脱发洗发水则高举旗舰店利剑(占比高达77%+),其次则是各类C店(11%),而在其他洗发水渠道表现优异的猫超在这里折戟,仅占比3%。

看来,防脱发类功能产品高销售背后离不开品牌的背书支撑。(一般品牌才会开设旗舰店)

最后,附上完整代码和数据集:

分享 转发
TOP
发新话题 回复该主题