用Python爬取文胸数据发现中国女性50%以上罩杯是B,但是A-cup穿衣最高级!

举报
可以叫我才哥 发表于 2021/09/26 17:31:26 2021/09/26
【摘要】 最近有些朋友跟我吐槽说他们女票是`A`罩杯,很高级! 今天,我们就爬取京东商城某文胸品牌不同`size`的大致销售情况,来看看当前什么尺码才是主流吧!

大家好,我是才哥。

最近有些朋友跟我吐槽说他们女票是A罩杯,很高级!

今天,我们就爬取京东商城某文胸品牌不同size的大致销售情况,来看看当前什么尺码才是主流吧!

目录:

1. 需求梳理

本文比较简单,单纯对京东评论数最多的某文胸品牌不同size的商品评论数进行采集,然后统计出不同size占比

由于京东没有类似销量(或多少人付款)等数据,我们这里仅用评论数做对比维度。关于评论数的获取,其实可以参考此前推文《》,我们这里就不展开介绍了,大家可以直接阅读代码。

通过在京东进行商品类型选择内衣-文胸-适用人群 青年,再按照评论数排序,我们可以得到排名靠前的商品列表。由于前2个都是均码无尺寸的,第3个是文胸洗衣袋(也是均码无尺寸),故而我们选择了第4个商品。

寻找目标品牌

然后,我们直接点击进入到第4个商品的详情页面,发现存在很多7种颜色和10种尺寸,这组合有点多啊。

为了更好的获取每件商品的评论数据,我们这里需要先获取每个商品的productId。于是,我们F12进入到开发者模式,在元素页搜索其中一个商品id最终发现了存放全部商品id的地方如下:(可以通过正则解析出来)

color&size

既然可以获取全部的商品id,那么通过商品id即可调用评论接口获取对应商品的评论数据了,我们就编码走起!

2. 数据采集

数据采集部分,先用正则获取全部的商品id,然后通过商品id获取全部商品id对应的评论数据,那么需要的数据就齐活了。

获取全部商品id

import requests
import re
import pandas as pd

headers = {
    # "Accept-Encoding": "Gzip",  # 使用gzip压缩传输数据让访问更快
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36",
    # "Cookie": cookie,
    "Referer": "https://item.jd.com/"
    }

url=  r'https://item.jd.com/100003749316.html'    
r = requests.get(url, headers=headers, timeout=6)

text = re.sub(r'\s','',r.text)
colorSize = eval(re.findall(r'colorSize:(\[.*?\])', text)[0])
df = pd.DataFrame(colorSize)

获取商品id对应评论数据

# 获取评论信息
def get_comment(productId, proxies=None):
    # time.sleep(0.5)
    url = 'https://club.jd.com/comment/skuProductPageComments.action?'
    params = {
            'callback': 'fetchJSON_comment98',
            'productId': productId,
            'score': 0,
            'sortType': 6,
            'page': 0,
            'pageSize': 10,
            'isShadowSku': 0,
            'fold': 1,
            }
    # print(proxies)
    r = requests.get(url, headers=headers, params=params, 
                     proxies=proxies, 
                     timeout=6)
    comment_data = re.findall(r'fetchJSON_comment98\((.*)\)', r.text)[0]
    comment_data = json.loads(comment_data)
    comment_summary = comment_data['productCommentSummary']
    
    return sum([comment_summary[f'score{i}Count'] for i in range(1,6)])
    
df_commentCount = pd.DataFrame(columns=['skuId','commentCount'])
proxies = get_proxies()
for productId in df.skuId[44:]:
    df_commentCount = df_commentCount.append({
                        "skuId": productId,
                        "commentCount": get_comment(productId, proxies),
                        },
                        ignore_index=True
                        )

df = df.merge(df_commentCount,how='left')

3. 统计展示

我们先将尺码中的ABC..罩杯部分单独成列

df['cup'] = df['尺码'].str[-1]

开始我们的简单统计展示吧

先看数据信息概况

>>> df.info()
    
<class 'pandas.core.frame.DataFrame'>
Int64Index: 64 entries, 0 to 63
Data columns (total 5 columns):
 #   Column        Non-Null Count  Dtype 
---  ------        --------------  ----- 
 0   尺码            64 non-null     object
 1   skuId         64 non-null     object
 2   颜色            64 non-null     object
 3   commentCount  64 non-null     object
 4   cup           64 non-null     object
dtypes: object(5)
memory usage: 3.0+ KB

3.1. cup分布

不过我们采集的数据中只划分了A-B-C三种cup。。

cupNum = df.groupby('cup')['commentCount'].sum().to_frame('数量')
cupNum
cup 数量
A 6049
B 11618
C 4076
import matplotlib.pyplot as plt
from matplotlib import font_manager as fm

plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
plt.rcParams['axes.unicode_minus'] = False

labels = cupNum.index
sizes = cupNum['数量']
explode = (0, 0.1, 0) 

fig1, ax1 = plt.subplots(figsize=(6,5))
patches, texts, autotexts = ax1.pie(sizes, explode=explode, labels=labels, autopct='%1.1f%%',
                                    shadow=True, startangle=90)
ax1.axis('equal') 

# 重新设置字体大小
proptease = fm.FontProperties()
proptease.set_size('large')
plt.setp(autotexts, fontproperties=proptease)
plt.setp(texts, fontproperties=proptease)
ax1.set_title('cup 分布')
plt.show()

cup分布

我们可以看到,高达53.4%的买家是B-cup,其次才是A-cup占比27.8%

3.2. color分布

colorNum = df.groupby('颜色')['commentCount'].sum().to_frame('数量')
colorNum
颜色 数量
浅肤 3627
淡蓝灰 3058
淡银灰 3837
白色 1439
藕粉 8286
酒红 1429
黑色 67

我们可以看到,藕粉色最多而且遥遥领先,其次是淡银灰、浅肤和淡蓝色。

color分布

以下是占比最高高达38.1%的藕粉色

藕粉色

4. 就这样吧

我们看到最多的34/75B34就是英码对照,75可以理解为下胸围长(其实这里的34和75可以理解为一样的含义),B则是cup

关于cup胸围对照表,参考:

以上就是本次全部内容,由于样本量较小,仅供娱乐哈!

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。