课前测验

本文所用数据免费下载：数据科学机器学习系列5利用Scikit-learn构建回归模型：准备和可视化数据.ipynb-机器学习文档类资源-CSDN文库

前文提要：在上一篇文章中我们在本地搭建了机器学习环境，本文中我将使用Scikit-learn详细实现南瓜价格的回归模型，由于篇幅较长，我将分成三篇文章详细讲述，记得在阅读的时候要保持思考。在处理数据和应用机器学习解决方案时，学习如何提出正确的问题以挖掘数据集的潜力非常重要。

图1 数据整理及可视化

​

在本文中，你将学习：

0 如何为模型构建准备数据

1 如何使用Matplotlib进行数据可视化

        你需要解决的问题将决定你将利用哪种类型的机器学习算法。我们得到的预测成果的质量将在很大程度上取决于数据的质量与性质。

目录

一、数据介绍

二、数据检查并整理

1.数据检查

①缺失值检查

②数据一致性检查

③无效值检查

2.数据整理

①数据过滤

②数据提取    

三、数据可视化

1.散点图

2.柱状图

四、总结

一、数据介绍

        本文提供的数据属于公共数据。这是从美国农业部分发的特种作物终端市场标准报告中提取的原始数据；它来源于美国农业部网站，可以单独下载每个城市的数据。为了方便起见，我们下载的数据已经是多个城市拼接好的数据。

        让我们使用Python的pandas库，来分析和准备此南瓜数据。

        请点击下载本文提供的数据，它以csv格式存储。我们可以在jupyter notebook中打开 .ipynb 文件，然后使用pandas库的read_csv()函数打开此csv文件。并使用info()函数查看数据的基本组织信息。代码如下：

import pandas as pd #调用pandas库 pumpkins = pd.read_csv('US-pumpkins.csv') #读取csv文件数据存储到pumpkins pumpkins.head() #查看数据的前5行，括号中参数代表查看前n行，默认为5 pumpkins.tail() #查看数据的后5行，括号中参数代表查看后n行，默认为5

图2 南瓜数据

​

pumpkins.info() #查看数据的组织结构

图3 数据组织结构

​

通过观察，我们可以发现：

0 红框1是特征变量名，红框2是非空值的数量，红框3是数据类型；

1 数据共有1757行，代表1757个样本，按城市分组；

2 数据很混乱，其中大量数据有缺失值，这对数据分析没有益处；

        事实上，直接就可以拿来训练模型的数据集并不常见。大多数数据都需要我们做清洗，这也是机器学习流程中最麻烦的一个环节。

二、数据检查并整理

        查看这些数据，你注意到了什么？你或许对各种数据类型的混合感到迷茫，但是请放心，数据科学是逻辑清晰的，你需要保持冷静的状态，抓住表象本质，将繁琐的逻辑理清。我会带你慢慢解决它。

        思考机器学习的流程，第一步是什么？是提出问题，我们可以对这个数据提出什么问题呢？使用回归技术试一试，例如“预测给定月份内待售南瓜的平均价格”。再次查看数据，我们需要对原始数据pumpkins进行一些更改才能创建任务所需的数据结构。

1.数据检查

根据我们提出的问题，我们需要价格、月份数据以及南瓜称量数据；

0 平均价格数据可由'Low Price', 'High Price'两列数据计算得到

1 月份数据可从'date'列中提取得到

2 南瓜数据可以从'Packge'列中提取得到

在进行数据整理之前，我们需要对数据进行检查。

①缺失值检查

首先，我们需要检查缺失数据。输入以下代码：

pumpkins.isnull().sum() #检查每列数据中的缺失值的数量

 图4 缺失值

        根据打印出来的结果可以看出，日期'date'数据的缺失值为0，并无缺失值，同理，其余需要的数据也没有缺失值。因此，缺失值检测通过。

②数据一致性检查

        接着我们检查每列数据中的数据一致性。四列数据中，'Package'列中的数据是南瓜的称量单位，称量单位应保持一致，它决定着价格一致性。因此只对此列数据做一致性检验。输入以下代码：

pumpkins["Package"].is_unique

        这行代码用于检验数据的值是否唯一，True代表唯一，False表示不唯一。输出结果为：

False

        输出结果表明数据不唯一，稍后我们将对其进行处理。

③无效值检查

        本数据因为是通过官方渠道获取，方便初学者入门，因此数据已经剔除无效值，之后的文章中我会详细讲解无效值检查，感兴趣的同学可提前去学习相关知识。

2.数据整理

        现在，我们经过数据检查，整理了以下问题：

Package列数据未通过数据一致性检验

①数据过滤

        我们通过输入以下代码统计"Package"列不同数据出现的频数以选择合适的数据：

pumpkins["Package"].value_counts() #统计"Package"列不同值出现的次数

        打印结果如下，结果似乎很混乱，统计的称量方式多种多样。

图5 Package频数统计

        经过深入研究原始数据后，我们发现，其中包含“每英寸”、“每箱”甚至“每个”的称重类型，这不是重量单位，它的价格是无意义的。南瓜似乎很难保持一致的重量，所以让我们通过只选择列中有字符串“'bushel”的南瓜来过滤它们，虽然缺失了很多数据，但它们对分析无用。

        输入以下代码用于筛选只包含字符串“bushel”的数据：

pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)]

②数据提取    

        经过数据过滤，现在我们的整理工作只剩下两个：

0 提取月份数据

    0.0 将日期数据转换为月份格式（这些日期数据是美国日期，因此格式为MM/DD/YYYY）

    0.1 将月份提取到新列

1 提取平均值数据

    1.0 计算平均价格并提取至新列

（1）提取月份数据与价格数据

        思考一下如何确定南瓜在给定月份的平均价格。在这里每月平均价格的计算公式为：

（Low Price+High Price）/2

price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 #price是平均价格 month = pd.DatetimeIndex(pumpkins['Date']).month #将日期列转换为日期并提取出月份数据

        我们需要创建一个“month”列，从“date”列中提取出月份，并赋值给“month”列。

（2）提取数据至新列

        将需要的数据提取出来放置新文件，并查看其结构。输入以下代码：

new_pumpkins=pd.DataFrame({'Month':month,'Package':pumpkins['Package'],'LowPrice':pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) new_pumpkins.info()

输出结果为：

图6 新数据

        我们可以看到，我们分析需要的数据已经基本整理完成。那你是否注意到南瓜单位的量因每行而异呢，你需要规范定价，以便显示每pushel的定价，因此请进行一些数学运算以对其进行标准化。

        在创建new_pumpkins数据之后添加以下代码：

new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) # loc()函数通过索引行标签索引行数据，即包含1 1/9的行，price = price/(1 + 1/9) new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) #同上

        根据The Spruce Eats的说法，bushel的重量取决于农产品的类型，因为它是体积测量。“例如，1 bushel西红柿应该重达56磅......叶子和绿色蔬菜以更轻的重量占用更多的空间，所以1 bushel菠菜只有20磅。

        这一切都非常复杂！让我们不要费心进行bushel（单位）到磅的转换，而是按bushel（单位）定价。这一切都表明了解数据的性质是多么重要！

        现在，我们可以根据测量值分析每单位的定价。

Tip:你有没有注意到半bushel出售的南瓜非常昂贵？你能弄清楚为什么吗？因为小南瓜比大南瓜贵得多，可能是因为每bushel的南瓜数量更多，因为一个大空心馅饼南瓜占用了未使用的空间。

三、数据可视化

        数据科学工作者为了体现数据的质量和性质，通常会创建有趣的可视化效果，以显示数据的不同特点。通过这种方式，他们能够直观地显示难以发现的联系和误差。

        可视化还可以帮助确定最适合数据的机器学习技术。例如，散点图中的一条直线表示数据是线性回归练习的典型案例。

        在 Jupyter notebook中入门常用的数据可视化库是matplotlib，虽然有更好的可视化库，但是大多都是基于Matplotlib封装的，学好Matplotlib，走遍天下可视化😁。

        尝试创建一些基本图表来可视化刚刚构建的新数据。

1.散点图

        将平均价格与月份数据并以散点图的形式可视化

import matplotlib.pyplot as plt price = new_pumpkins.Price month = new_pumpkins.Month plt.scatter(price, month) plt.show()

图4 散点图

​

2.柱状图

        要使图表显示有用的数据，通常需要以某种方式对数据进行分组。让我们尝试创建一个柱状图，其中 y 轴显示月份。这一步我们常称之为“分组聚合”

以分组聚合的方式创建分组直方图：

new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar')#按月份分组并统计出每个月的平均价格，绘制柱状图 plt.ylabel("Pumpkin Price") #横轴为月份，纵轴为平均价格

图5 直方图

​        直方图可视化效果很直观！这似乎表明南瓜的最高价格出现在9月和10月。这符合您的期望吗？为什么呢？

四、总结

        在本文中，我们以美国南瓜数据为例，观察并整理了需要的数据，挑选及提取了特征变量：如月份，平均价格。并对其进行了数据可视化，我们发现，9月和10月份是南瓜的平均价格最高。下一篇文章中，我将基于本文成果数据构建线性和多项式回归模型。

        课后题：请读者探索Matplotlib绘图类型 — Matplotlib 3.5.1 文档库提供的不同类型的可视化案例。哪些适合回归？哪些又适合分类？

        学习资源

 如果觉得我的文章对您有帮助，三连+关注便是对我创作的最大鼓励！

 “本站所有文章均为原创，欢迎转载，请注明文章出处:https://blog.csdn.net/qq_45590504/category_11752103.html?spm=1001.2014.3001.5482百度和各类采集站皆不可信，搜索请谨慎鉴别。技术类文章一般都有时效性，本人习惯不定期对自己的博文进行修正和更新，因此请访问出处以查看本文的最新版本。”

Job256网站商业源码