【C++】使用箱线图算法剔除数据样本中的异常值
目录
一、箱线图算法介绍
二、五数概括计算解释
三、四分位距（IQR）与异常值判定
四、箱线图在数据处理中的应用
1. 异常值检测
2. 数据分布比较
3. 偏态与离散程度分析
4. 非参数数据展示
五、箱线图的局限性
六、代码实现及注释
七、如果这篇文章能帮助到你，请点个赞鼓励一下吧ξ( ✿＞◡❛)~
一、箱线图算法介绍
箱线图（Boxplot）是一种基于统计学的数据可视化和数据处理工具，箱线图假设数据样本服从正态分布，通过五数概括（最小值、第一四分位数Q1、中位数Q2、第三四分位数Q3、最大值）可以进行数据统计分布和异常值检测规则。
二、五数概括计算解释
- 最小值（Min）：数据集中的最小值。
- 第一四分位数（Q1）：数据排序后第25%位置的值，即25%的数据小于等于Q1。
- 中位数（Q2）：数据排序后第50%位置的值，即50%的数据小于等于Q2。
- 第三四分位数（Q3）：数据排序后第75%位置的值，即75%的数据小于等于Q3。
- 最大值（Max）：数据集中的最大值。
三、四分位距（IQR）与异常值判定
- IQR = Q3 - Q1：表示中间50%数据的分布范围。
- 异常值判定规则：
- 温和异常值（Mild Outliers）：位于 Q1 - 1.5×IQR 和 Q3 + 1.5×IQR 之外的数据点。
- 极端异常值（Extreme Outliers）：位于 Q1 - 3×IQR 和 Q3 + 3×IQR 之外的数据点。
四、箱线图在数据处理中的应用
1. 异常值检测
- 优势：假设数据服从正态分布，直接通过四分位数和IQR识别异常值。
- 场景：
- 数据清洗：剔除或修正异常值（如传感器故障导致的极端值）。
- 质量控制：监测生产流程中的异常波动（如某批次产品的重量异常）。
2. 数据分布比较
- 多组对比：通过并列箱线图比较不同类别或时间段的数据分布。
- 场景：
- 学生成绩分析：比较不同班级或学科的分数分布（如数学成绩分布分散，语文成绩集中）。
- 薪资差异分析：对比不同地区或部门的员工薪酬水平（如北京地区中位数高于西安）。
3. 偏态与离散程度分析
- 偏态判断：
- 若中位数接近Q1，数据右偏（长尾在右侧）。
- 若中位数接近Q3，数据左偏（长尾在左侧）。
- 离散程度判断：
- IQR较小：数据集中（如标准化考试成绩）。
- IQR较大：数据分散（如用户购买金额差异大）。
- 场景：分析用户行为数据时，若某功能的使用时长分布右偏，可能表明部分用户过度依赖该功能。
4. 非参数数据展示
- 适用场景：无需假设数据分布形态，适用于非正态分布数据。
- 优势：相比直方图或密度图，箱线图更简洁，适合多组数据对比。
案例：医学研究中，比较不同药物治疗组的疗效数据（非正态分布），箱线图能直观显示组间差异。
五、箱线图的局限性
1、无法显示具体分布形态：如双峰分布或复杂分布模式无法用箱线图表示。
2、只能处理符合正态分布的样本数据。
3、小样本敏感性：样本量过小时，四分位数和异常值判定可能不稳定。
4、依赖经验阈值：1.5×IQR和3×IQR的异常值判定规则是经验性标准，需结合业务背景调整。
六、代码实现及注释
#include using namespace std;typedef short int16_t;//int16_t为嵌入式环境下变量定义关键字typedef bool bool_t;void Quick_Sort(float q[], int16_t l, int16_t r, bool_t order);//快速排序函数前置声明void Box_Plot(float data[], int count, float &value_Min, float &value_Max);//箱线图算法前置声明int main() { float a[] = {0.1, 0.5, 0.8, 0.86, 0.88, 0.89, 0.90};//模拟数组样本 float value_Min; //定义箱线图算法的异常数值下阈值float value_Max;//定义箱线图算法的异常数值上阈值 Box_Plot(a, 7, value_Min, value_Max);//调用箱线图算法，计算数据样本中的上下异常阈值//计算 value_Min 和 value_Max 之后，可以在后续设计中进行数据滤波 cout<<value_Min <<endl <<value_Max <= right)//递归结束条件 return; int16_t i = left , j = right; float x = data[(i+j)>>1]; while (i < j) { if (order == 1) { while (data[i] x) j--; } else { while (data[i] >= x) i++; //逆序：由大到小 while (data[j] < x) j--; } if (i < j) {//交换数据位置 float swap = data[i]; data[i] = data[j]; data[j] = swap; } }//递归调用 Quick_Sort(data, left, j-1, order), Quick_Sort(data, j + 1, right, order);}
