数据离散化

• 数据离散化就是分箱
• 一把你常用分箱方法是等频分箱或者等宽分箱
• 一般使用pd.cut或者pd.qcut函数

pandas.cut(x, bins, right=True, labels)

• x: 数据
• bins: 离散化的数目，或者切分的区间
• labels: 离散化后各个类别的标签
• right: 是否包含区间右边的值

import pandas as pd
import numpy as np
import os

  

 

  
1
  
2
  
3
 

os.getcwd()

  

 

  
1
 

'D:\\Jupyter\\notebook\\Python数据清洗实战\\数据'

  

 

  
1
 

os.chdir('D:\\Jupyter\\notebook\\Python数据清洗实战\\数据')

  

 

  
1
 

df = pd.read_csv('MotorcycleData.csv', encoding='gbk', na_values='Na')

  

 

  
1
 

def f(x): if '$' in str(x): x = str(x).strip('$') x = str(x).replace(',', '') else: x = str(x).replace(',', '') return float(x)

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
 

df['Price'] = df['Price'].apply(f)

  

 

  
1
 

df['Mileage'] = df['Mileage'].apply(f)

  

 

  
1
 

df.head(5)

  

 

  
1
 

5 rows × 22 columns

df['Price_bin'] = pd.cut(df['Price'], 5, labels=range(5))

  

 

  
1
 

# 计算频数
df['Price_bin'].value_counts()

  

 

  
1
  
2
 

0 6762
1 659
2 50
3 20
4 2
Name: Price_bin, dtype: int64

  

 

  
1
  
2
  
3
  
4
  
5
  
6
 

%matplotlib inline

  

 

  
1
 

df['Price_bin'].value_counts().plot(kind='bar')

  

 

  
1
 

<matplotlib.axes._subplots.AxesSubplot at 0x1b35fba9048>

  

 

  
1
 

df['Price_bin'].hist()

  

 

  
1
 

<matplotlib.axes._subplots.AxesSubplot at 0x1b35f681278>

  

 

  
1
 

w = [100, 1000, 5000, 10000, 20000, 100000]

  

 

  
1
 

df['Price_bin'] = pd.cut(df['Price'], bins=w, labels=range(5))

  

 

  
1
 

df[['Price', 'Price_bin']].head(5)

  

 

  
1
 

df['Price_bin'].hist()

  

 

  
1
 

<matplotlib.axes._subplots.AxesSubplot at 0x1b35fb99898>

  

 

  
1
 

  

 

  
1
 

# 分位数
k = 5
w = [1.0 * i/k for i in range(k+1)]
w

  

 

  
1
  
2
  
3
  
4
 

[0.0, 0.2, 0.4, 0.6, 0.8, 1.0]

  

 

  
1
 

# 等频分成5段
df['Price_bin'] = pd.qcut(df['Price'], q=w, labels=range(5))

  

 

  
1
  
2
 

df['Price_bin'].hist()

  

 

  
1
 

<matplotlib.axes._subplots.AxesSubplot at 0x1b35fe2a080>

  

 

  
1
 

# 计算分位点
k = 5
w1 = df['Price'].quantile([1.0 * i/k for i in range(k+1)])

  

 

  
1
  
2
  
3
 

w1

  

 

  
1
 

0.0 0.0
0.2 3500.0
0.4 6491.0
0.6 9777.0
0.8 14999.0
1.0 100000.0
Name: Price, dtype: float64

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
 

# 一般第一个分位点要比实际小
# 最后一个分位点要比实际大
w1[0] = w[0] * 0.95
w1[1.0] = w1[1.0] * 1.1

  

 

  
1
  
2
  
3
  
4
 

w1

  

 

  
1
 

0.0 0.0
0.2 3500.0
0.4 6491.0
0.6 9777.0
0.8 14999.0
1.0 110000.0
Name: Price, dtype: float64

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
 

# 按照新的分段标准分割
df['Price_bin'] = pd.cut(df['Price'], bins=w1, labels=range(5))

  

 

  
1
  
2
 

df['Price_bin'].hist()

  

 

  
1
 

<matplotlib.axes._subplots.AxesSubplot at 0x1b35e53fa20>

  

 

  
1
 

文章来源: ruochen.blog.csdn.net，作者：若尘，版权归原作者所有，如需转载，请联系作者。

原文链接：ruochen.blog.csdn.net/article/details/105636309