机器学习 - 数据预处理中的 特征离散化 方法
在数据分析中，我们认为在某个范围内取值过于密集的特征认为是取值”连续“的特征。出于某些需求经常需要将这些”连续特征进行离散化“。本文介绍三种比较实用的数据离散化方法。
李俊才的CSDN博客
https://blog.csdn.net/qq_28550263?spm=1010.2135.3001.5343
方法1：尺度缩小法
这种方法是对于数值元素的一种简单粗暴的方法。离散化的目的不就是减少取值数目吗。那么好，只要把数据除以某个值，大数就变小数，抹掉小数位，自然取值个数就少了很多。很显然，这种离散化方法的特点在于对越小的数整合归并能力越强。
经常我们将数据读取为一个二维DataFrame结构的表，而需要离散化的是该DataFrame对象中的一列。以下该方法离散化的源代码。
def scaling(DF, feature, scale, submit=True): """ 数据尺度缩小法离散化 Parameters ------- - DF: DataFrame，假设我们需要离散化的是DF种索引为feature的那一列 - feature: str，特征名，将用作从DF中索引该列特征的有序所有取值 - scale: 该列特征数值的放缩尺度。 - submit: bool，离散化后直接提交更改到DF中的该特征 """ dis_feature = DF[feature].copy() dis_feature = np.array(np.floor(np.array(DF[feature]/scale))) if submit: DF[feature] = dis_feature return dis_feature方法2：按数值区间分割数据法（使用pandas.cut()）
经常我们将数据读取为一个二维DataFrame结构的表，而需要离散化的是该DataFrame对象中的一列。以下该方法离散化的源代码。
def pd_cut(DF,feature,bins,submit=True): """ 离散化备选方法2: 按数值区间分割数据离散化——先按照数据取值将数据分割成n组。 Parameters ---------- - DF: DataFrame，假设我们需要离散化的是DF种索引为feature的那一列 - feature: str，特征名，将用作从DF中索引该列特征的有序所有取值 - bins: 若为Series，则序列中数据元素各为分割点； 若为int，则特征值定义范围内的等宽bin数。x的范围在每一侧 都扩展了0.1％，以包括x的最小值和最大值。 - submit: bool，离散化后直接提交更改到self.DF中的该特征 """ dis_feature = DF[feature].copy() dis_feature = pd.cut(Feature,bins) if submit: self.DF[feature] = dis_feature return dis_feature 方法3：等元素个数分割法（使用pandas.qcut()）
经常我们将数据读取为一个二维DataFrame结构的表，而需要离散化的是该DataFrame对象中的一列。以下该方法离散化的源代码。
def pd_qcut(self,feature,q,submit=True,kw): """ 离散化备选方法3： 等元素个数分割数据——分割后每个存储组有相同元素个数。 Parameters ------- - feature: str，特征名，将用作从DF中索引该列特征的有序所有取值 - q: 频数，int，也就是分割后的组数 - q_label: serial，分割后，必须用新的标签代表旧的数据，标签数目必 须和分割的频数对应一致 - submit: bool，离散化后直接提交更改到self.DF中的该特征 """ if kw.get('q_label') != None: q_label = kw.get('q_label') else: q_label = list(range(q)) dis_feature = self.DF[feature].copy() dis_feature = pd.qcut(dis_feature,q,q_label,duplicates="drop") # duplicates="drop"表示如果bin边缘(每组的分位点处)不是唯一则丢弃非唯一变量 if submit: self.DF[feature] = dis_feature return dis_feature使用作图法以对比DF中所有feature列离散前后的效果
直接上代码：
def barchart_ax(discrete_df, title='各个特征取值数量统计', xlabel='特征名称', ylabel='特征的不同取值量', background_color= "#EAEAF2", Batch1_color = "#25AFF3"): feature_values = [] x_text = [] for c in discrete_df.columns[1:]: x_text.append(c) ct = discrete_df[c].duplicated(keep ='first') feature_values.append(len(ct[ct==False])) batch1=feature_values pylab.rcParams['figure.figsize'] = (19.0, 10.0) plt.rcParams['font.sans-serif'] = ['KaiTi'] matplotlib.rcParams['axes.unicode_minus'] = False x = np.arange(len(x_text)) width = 0.66 fig, ax = plt.subplots() rects = ax.bar(x - width/2, batch1, width, color = Batch1_color)ax.patch.set_facecolor(background_color) ax.set_title(title, fontsize=26) ax.set_xlabel(xlabel, fontsize=22)ax.set_ylabel(ylabel, fontsize=22) ax.set_xticks(x) ax.set_xticklabels(x_text, fontsize=22) for rect in rects: height = rect.get_height() ax.annotate('{}'.format(height), xy=(rect.get_x() + rect.get_width() / 2, height), xytext=(0,3), textcoords="offset points", ha='center', va='bottom') plt.grid(linestyle = "dotted",color = "g")plt.xticks(rotation=89) fig.tight_layout() plt.show()案例：等待编写。
小结
import pandas as pdimport numpy as npclass discretization(object): """ 离散化类：提供几种可供选择的离散化方法。 离散化就是将特征中多个不同的特征值用相对少的取值表示。 每种离散化方法一次工作中对特定的列（特征）进行离散化操作，返回被离散的列的离散化结果 如果最终需要获取完成所有特征离散化的DataFrame，则使用该类实例的DF属性（discretization.DF）即可 """ def __init__(self,DataF): """ 初始化：拷贝一份传入的DataFrame。 仅当各备选的离散化方法中，submit = True 时，将改变 self.DF 中该列特征的数据。 """ self.DF = DataF.copy() def scaling(self,feature,scale,submit=True): """ 离散化备选方法1: 数据尺度缩小法离散化——该方法法通过将数值除以特定的数来进行离散化。 Parameters ------- - feature: str，特征名，将用作从DF中索引该列特征的有序所有取值 - scale: 该列特征数值的放缩尺度。 - submit: bool，离散化后直接提交更改到self.DF中的该特征 """ dis_feature = self.DF[feature].copy() dis_feature = np.array(np.floor(np.array(self.DF[feature]/scale))) if submit: self.DF[feature] = dis_feature return dis_feature def pd_cut(self,feature,bins,submit=True): """ 离散化备选方法2: 按数值区间分割数据离散化——先按照数据取值将数据分割成n组。 Parameters ------- - feature: str，特征名，将用作从DF中索引该列特征的有序所有取值 - bins: 若为Series，则序列中数据元素各为分割点； 若为int，则特征值定义范围内的等宽bin数。x的范围在每一侧 都扩展了0.1％，以包括x的最小值和最大值。 - submit: bool，离散化后直接提交更改到self.DF中的该特征 """ dis_feature = self.DF[feature].copy() dis_feature = pd.cut(dis_feature ,bins) if submit: self.DF[feature] = dis_feature return dis_feature def pd_qcut(self,feature,q,submit=True,kw): """ 离散化备选方法3： 等元素个数分割数据离散化——分割后每个存储组有相同元素个数。 Parameters ------- - feature: str，特征名，将用作从DF中索引该列特征的有序所有取值 - q: 频数，int，也就是分割后的组数 - q_label: serial，分割后，必须用新的标签代表旧的数据，标签数目必 须和分割的频数对应一致 - submit: bool，离散化后直接提交更改到self.DF中的该特征 """ if kw.get('q_label') != None: q_label = kw.get('q_label') else: q_label = list(range(q)) dis_feature = self.DF[feature].copy() dis_feature = pd.qcut(dis_feature,q,q_label,duplicates="drop") # duplicates="drop"表示如果bin边缘(每组的分位点处)不是唯一则丢弃非唯一变量 if submit: self.DF[feature] = dis_feature return dis_feature
