实现Python自动办公：在Excel中条件筛选与数据存档
本文还有配套的精品资源，点击获取 
简介：Python搭配pandas和openpyxl库，可高效地对Excel数据进行自动处理。本文介绍了如何使用Python对Excel中的数据进行条件筛选，并将筛选结果保存到新的工作表中。内容涵盖了库的安装、数据的读取、单条件或多条件筛选、高级筛选技术、自定义函数的使用以及处理大型数据文件的策略。这将帮助用户实现办公自动化，提高数据处理效率。
1. Python数据处理基础
在现代数据分析和管理中，Python已成为一个不可或缺的工具，特别是对于那些寻求以编程方式处理和分析数据的IT从业者来说。Python的数据处理基础涵盖了理解数据结构、数据操作以及数据处理的基本概念。本章我们将深入浅出地探讨Python在数据处理中的基本使用方法，包括数据类型、数据结构以及基础的文件操作技术。掌握这些技能是进行高级数据处理的前提和基础，能为接下来应用pandas和openpyxl等库进行高效数据管理打下坚实的基础。
1.1 Python中的基本数据类型
Python有多种基本数据类型，包括整型（int）、浮点型（float）、布尔型（bool）、字符串（str）等。理解这些数据类型是进行数据处理的起点。
# 示例：基本数据类型的定义和操作number = 10 # 整型price = 10.99 # 浮点型is_active = True # 布尔型text = \"hello\" # 字符串1.2 Python中的数据结构
Python提供了多种数据结构来存储和管理数据，主要包括列表（list）、元组（tuple）、集合（set）、字典（dict）。每种数据结构都有其特定用途和优势。
# 示例：创建和使用不同的数据结构fruits_list = [\'apple\', \'banana\', \'cherry\'] # 列表fruits_tuple = (\'apple\', \'banana\', \'cherry\') # 元组fruits_set = {\'apple\', \'banana\', \'cherry\'} # 集合# 字典允许使用键值对来存储数据fruits_dict = {\'apple\': 10, \'banana\': 5, \'cherry\': 3}1.3 Python中的文件读写操作
数据处理往往涉及到文件的读取和写入。Python提供了简单易用的文件操作方法，能够读取和写入文本文件、CSV文件等。
# 示例：读取和写入文本文件with open(\'example.txt\', \'r\') as file: # 打开文件 content = file.read() # 读取文件内容with open(\'output.txt\', \'w\') as file: # 打开文件 file.write(\'Hello, World!\') # 写入内容到文件通过以上基础内容，读者可以为学习pandas和openpyxl库等高级数据处理工具打下扎实的基础。在后续章节中，我们将继续深入探讨如何利用这些库进行更加复杂和高效的数据处理。
2. pandas库应用
2.1 pandas库的安装与配置
2.1.1 安装pandas库
在开始使用pandas之前，首先要确保已经正确安装了这个库。pandas是一个用于数据分析和操作的强大库，通常安装pandas都是通过pip进行的。下面是如何在命令行中安装pandas的步骤：
pip install pandas安装完成后，可以通过Python环境的交互式界面来检查pandas是否安装成功：
import pandasprint(pandas.__version__)2.1.2 配置pandas环境
安装完pandas之后，配置一个良好的环境对于后续的数据处理工作至关重要。环境配置主要涉及几个方面，包括设置Python解释器、安装依赖的库以及优化pandas性能等。pandas性能优化主要依赖于其依赖的库，如NumPy，因此安装最新版本的NumPy通常可以提高pandas的性能：
pip install numpy为了更深入理解pandas的安装与配置过程，下面是一个详细的配置过程及代码逻辑分析：
import sysimport pandas as pd# 检查当前环境中pandas的版本，确认安装成功print(\"pandas Version:\", pd.__version__)# 检查Python解释器版本，确保与pandas兼容print(\"Python Version:\", sys.version)上述代码块会输出安装的pandas版本和Python版本信息，确认安装成功并且与当前Python环境兼容。
2.2 pandas的基本数据结构
2.2.1 DataFrame的创建与操作
DataFrame是pandas中最基本的数据结构，它是一个二维的、大小可变的、潜在异质性的表格数据结构。在pandas中创建DataFrame的方法有很多，其中一种是从字典创建：
data = { \'Name\': [\'John\', \'Anna\', \'Peter\', \'Linda\'], \'Age\': [28, 19, 35, 32], \'Location\': [\'New York\', \'Paris\', \'London\', \'Tokyo\']}df = pd.DataFrame(data)创建后，我们可以通过各种方法来操作DataFrame：
# 查看前五行数据print(df.head())# 获取某列数据print(df[\'Name\'])# 描述性统计分析print(df.describe()) 这里， head() 方法用于快速查看数据集的前几行，而直接使用列名则可以获取DataFrame中的某一列数据， describe() 方法则提供了一个关于数据集的统计摘要。
2.2.2 Series的创建与操作
Series是pandas中的另一种基本数据结构，它是一个一维的、大小可变的、潜在同质性的数组，可以看作是一个长度固定的字典。
创建Series的一个简单例子如下：
s = pd.Series([1, 2, 3, 4])Series的操作包括数据访问、索引修改等：
# 访问Series中第3个元素print(s[2])# 修改索引s.index = [\'a\', \'b\', \'c\', \'d\']print(s) 这里通过索引访问了Series中的第三个元素，并通过修改 index 属性重新定义了索引标签。
2.2.3 数据索引与选择
在处理数据时，选择合适的数据子集是非常关键的一步。pandas提供了多种选择数据的方法：
# 选择特定行row = df.iloc[2]# 选择特定列column = df[\'Name\']# 使用条件选择行age_condition = df[\'Age\'] > 30filtered_df = df[age_condition] 在上述代码中， iloc 用于基于整数位置的索引，而 df[\'Name\'] 是基于标签的选择。条件选择则是利用布尔索引来筛选满足特定条件的行。
2.3 pandas在数据处理中的应用
2.3.1 数据清洗与预处理
数据清洗是指发现并修正数据集中的错误和不一致的过程。在pandas中，数据清洗通常包括处理缺失值、删除重复数据、数据类型转换等。
# 处理缺失值df.fillna(method=\'ffill\', inplace=True)# 删除重复数据df.drop_duplicates(inplace=True)# 数据类型转换df[\'Age\'] = df[\'Age\'].astype(\'int64\') 上述代码展示了三种常见的数据清洗操作：用前一个值填充缺失值( fillna 方法)，删除重复数据( drop_duplicates 方法)，以及转换数据类型( astype 方法)。
2.3.2 数据聚合与分组操作
在数据分析中，聚合操作可以帮助我们对数据集进行汇总和比较。分组操作是数据分析中非常重要的一步，它允许我们根据某些标准将数据拆分成组，并对每个组执行计算。
# 数据分组grouped = df.groupby(\'Location\')# 数据聚合mean_age_by_location = grouped[\'Age\'].mean()print(mean_age_by_location)这里我们根据’Location’列将数据分组，并计算了每个地点的平均年龄。
2.3.3 数据合并与连接
合并和连接数据集是在数据处理中常见的需求。pandas提供了 merge 、 concat 等函数来实现数据的合并与连接。
# 数据合并merged_df = pd.merge(df, another_df, on=\'Name\')# 数据连接concatenated_df = pd.concat([df, another_df], axis=0) 在这段代码中， merge 函数是基于共同的列进行数据合并，而 concat 函数则是将数据按行或列连接起来。
以上为第二章的内容，展示了pandas库的安装、配置以及如何使用pandas库处理和操作基本数据结构。在接下来的章节中，我们将进一步探讨pandas在数据处理方面的高级应用。
3. openpyxl库应用
3.1 openpyxl库的安装与配置
3.1.1 安装openpyxl库
在Python环境中，openpyxl库的安装可以通过包管理工具pip进行。推荐使用虚拟环境进行安装，以避免与系统中已安装的其他包冲突。执行以下命令进行安装：
pip install openpyxl 对于Windows用户，安装过程通常不会遇到问题。但在Linux或Mac OS X系统上，可能需要先安装 libxml2-dev 和 libxslt1-dev 依赖包。
3.1.2 配置openpyxl环境
安装完毕后，需要确保openpyxl模块正确配置在Python环境中。可以通过以下代码验证安装是否成功：
import openpyxlprint(openpyxl.__version__)如果输出了版本号，说明安装成功。此外，建议将openpyxl包目录添加到系统的环境变量中，这样在命令行中也能直接调用openpyxl的命令行工具。
3.2 openpyxl的工作簿和工作表操作
3.2.1 创建、读取和修改工作簿
openpyxl的 Workbook 类用于创建和读取Excel工作簿。
from openpyxl import Workbook# 创建一个新的工作簿wb = Workbook()# 激活默认的工作表ws = wb.active# 在工作表中写入数据ws[\'A1\'] = \'Hello, openpyxl!\'# 保存工作簿wb.save(\'example.xlsx\') 如果要打开一个已存在的工作簿，使用 load_workbook() 函数：
from openpyxl import load_workbook# 加载一个已存在的工作簿wb = load_workbook(\'example.xlsx\')# 获取激活的工作表ws = wb.active# 修改单元格中的数据ws[\'A1\'] = \'Hello, world!\'3.2.2 创建、读取和修改工作表
工作表可以通过 create_sheet() 方法创建，通过索引或者名称来访问。
# 创建新的工作表wb.create_sheet(index=0, title=\'First_Sheet\')# 创建并命名另一个工作表wb.create_sheet(title=\'Data_Sheet\')读取特定工作表时，可以直接通过名称访问。
# 获取名为\'Data_Sheet\'的工作表data_sheet = wb[\'Data_Sheet\']3.2.3 工作表中数据的读取与写入
数据的写入一般通过指定单元格的方式来完成。openpyxl支持不同数据类型的写入，包括字符串、数字、日期等。
# 写入字符串到工作表的B1单元格ws[\'B1\'] = \'Another Cell\'# 写入数字到C1单元格ws[\'C1\'] = 100# 写入日期到D1单元格from datetime import datetimews[\'D1\'] = datetime.now()数据的读取使用与写入相同的索引方法：
# 读取B1单元格的数据cell_value = ws[\'B1\'].value3.3 openpyxl高级特性应用
3.3.1 公式与计算的处理
openpyxl支持公式和计算的处理，但需要注意的是，只有当工作簿被保存为 .xlsx 格式时，这些公式和计算才会被Excel支持。
# 写入公式到E1单元格ws[\'E1\'] = \'=SUM(A1:D1)\'# 将工作簿保存为.xlsx格式以确保公式计算有效wb.save(\'example_with_formula.xlsx\')在加载工作簿后，可以读取和修改公式。
# 加载一个包含公式的Excel文件wb = load_workbook(\'example_with_formula.xlsx\')# 获取活动工作表ws = wb.active# 修改E1单元格中的公式ws[\'E1\'] = \'=SUM(A1:E1)\'3.3.2 样式与格式的设置
openpyxl提供了丰富的样式设置功能，可以对字体、对齐方式、边框等进行配置。
from openpyxl.styles import Font# 设置A1单元格的字体样式ws[\'A1\'].font = Font(name=\'Arial\', size=24, bold=True)还可以设置单元格的边框样式：
from openpyxl.styles.borders import Border, Side# 创建一个边框样式thin_border = Border(left=Side(style=\'thin\'),right=Side(style=\'thin\'),top=Side(style=\'thin\'),bottom=Side(style=\'thin\'))# 应用边框样式ws[\'A1\'].border = thin_border3.3.3 图表的创建与管理
在openpyxl中创建和管理图表是另一项高级功能。图表与特定工作表关联，并由一个或多个数据系列构成。
from openpyxl import Workbookfrom openpyxl.chart import BarChart, Reference# 创建一个新的工作簿wb = Workbook()ws = wb.active# 添加数据到工作表data = [ [\'月份\', \'销售额\'], [\'1月\', 22000], [\'2月\', 19000], [\'3月\', 18000]]for row in data: ws.append(row)# 创建一个条形图对象chart = BarChart()# 设置数据范围data = Reference(ws, min_col=2, min_row=1, max_col=2, max_row=4)categories = Reference(ws, min_col=1, min_row=2, max_row=4)# 添加数据到图表chart.add_data(data, titles_from_data=True)chart.set_categories(categories)# 将图表添加到工作表ws.add_chart(chart, \"E2\")# 保存工作簿wb.save(\'chart_example.xlsx\')在创建图表时，需要确保数据的引用正确无误，并且在添加图表到工作表后保存工作簿。openpyxl的图表功能非常强大，允许用户创建多种不同类型的图表，并且可以对图表进行详细的定制，如调整颜色、位置等。
4. 条件筛选数据的实现
在数据分析和处理中，条件筛选是必不可少的操作，可以帮助我们从大量数据中提取出符合特定条件的有价值信息。在本章节中，我们将详细讨论如何使用Python的pandas库和openpyxl库实现条件筛选数据，并演示如何通过逻辑组合构建复杂筛选条件。
4.1 单条件数据筛选
4.1.1 基于pandas的单条件筛选
单条件筛选在pandas中可以通过多种方式实现，最简单的是使用布尔索引。pandas中DataFrame对象的 loc 和 iloc 方法是实现单条件筛选的常用工具。
import pandas as pd# 创建一个示例DataFramedata = { \'Name\': [\'Alice\', \'Bob\', \'Charlie\', \'David\'], \'Age\': [24, 27, 22, 32], \'Score\': [88, 72, 90, 65]}df = pd.DataFrame(data)# 使用loc方法进行单条件筛选age_condition = df[\'Age\'] > 25 # 年龄大于25岁的条件filtered_df = df.loc[age_condition]print(filtered_df) 在上述代码中， df[\'Age\'] > 25 创建了一个布尔序列，其中年龄大于25岁的记录为True。然后通过 loc 方法选取所有True对应的行。这是单条件筛选的一个非常直观的例子。
4.1.2 基于openpyxl的单条件筛选
与pandas相比，openpyxl库直接在Excel工作表上操作。单条件筛选可以通过遍历单元格来实现。
import openpyxl# 加载工作簿wb = openpyxl.load_workbook(\'data.xlsx\')sheet = wb.active# 单条件筛选filtered_cells = []for row in sheet.iter_rows(min_row=2, values_only=True): if row[2] > 25: # 假设年龄在第三列 filtered_cells.append(row)# 输出筛选结果for cell in filtered_cells: print(cell) 上述代码片段通过遍历工作表的行，并检查每行的第三列（假设为年龄列）是否满足条件（年龄大于25岁）。满足条件的行被添加到 filtered_cells 列表中。
4.2 多条件数据筛选
4.2.1 基于pandas的多条件筛选
在pandas中实现多条件筛选，通常有两种方式：使用逻辑运算符和使用query方法。
# 使用逻辑运算符combined_condition = (df[\'Age\'] > 25) & (df[\'Score\'] > 80)filtered_df_multiple = df.loc[combined_condition]print(filtered_df_multiple)# 使用query方法filtered_df_query = df.query(\'Age > 25 & Score > 80\')print(filtered_df_query)4.2.2 基于openpyxl的多条件筛选
在openpyxl中实现多条件筛选需要对数据进行更细致的检查。下面是一个示例：
# 多条件筛选filtered_cells_multiple = []for row in sheet.iter_rows(min_row=2, values_only=True): if (row[2] > 25) and (row[3] > 80): # 假设年龄在第三列，分数在第四列 filtered_cells_multiple.append(row)# 输出筛选结果for cell in filtered_cells_multiple: print(cell)这段代码将检查每行的第三列（年龄）和第四列（分数），只有同时满足年龄大于25岁和分数大于80分的行才会被添加到结果列表中。
4.3 条件筛选的逻辑组合
4.3.1 逻辑运算符的使用
逻辑运算符 and 、 or 、 not 可以组合成复杂条件，这在pandas和openpyxl的筛选操作中都是通用的。
# 使用逻辑运算符组合条件complex_condition = ((df[\'Age\'] > 25) & (df[\'Score\'] > 80)) | ((df[\'Age\'] 90))filtered_df_complex = df.loc[complex_condition]print(filtered_df_complex)4.3.2 复杂条件的构建方法
构建复杂条件时，常常需要考虑逻辑优先级，建议使用括号来明确指定逻辑运算符的执行顺序。
# 构建一个更复杂的筛选条件import numpy as npage_range = (df[\'Age\'] > 20) & (df[\'Age\'] 70) & (df[\'Score\'] < 100)names_like = df[\'Name\'].str.contains(\'e\')complex_condition = age_range & score_range & names_likefiltered_df_complex = df.loc[complex_condition]print(filtered_df_complex) 以上代码通过结合年龄范围、分数范围和姓名中包含字母’e’的条件来筛选数据，其中使用了 str.contains 方法来处理字符串条件。
通过本章节的介绍，我们可以看到pandas和openpyxl在实现条件筛选时都有各自的优势和特点。pandas提供了强大的数据结构和丰富的方法，而openpyxl则更加贴近实际的Excel操作。掌握它们的使用方法能够大大提高我们在数据处理中的灵活性和效率。
5. 创建新工作表并保存筛选结果
5.1 新工作表的创建与布局设计
在数据分析和处理的过程中，常常需要将筛选后的结果输出到新的工作表中以便进一步分析或展示。在本节中，我们将介绍如何分别利用pandas和openpyxl库来创建新工作表，并进行布局设计。
5.1.1 利用pandas创建新工作表
pandas库提供了一个非常方便的功能，可以将DataFrame对象直接导出为Excel文件中的工作表。以下是一个简单的例子，演示如何创建一个新工作表并保存到Excel文件中。
import pandas as pd# 假设我们已经有了一个筛选后的DataFrame对象 \'df_filtered\'# 创建一个新的工作簿，并将\'filtered_data.xlsx\'作为文件名with pd.ExcelWriter(\'filtered_data.xlsx\') as writer: # 将DataFrame对象写入名为\'New_Sheet\'的新工作表 df_filtered.to_excel(writer, sheet_name=\'New_Sheet\')5.1.2 利用openpyxl创建新工作表
openpyxl库则允许我们更详细地控制工作表的创建和布局。以下是如何使用openpyxl创建新工作表的步骤。
from openpyxl import Workbook# 创建一个新工作簿wb = Workbook()# 获取默认的工作表，或者创建一个新的工作表ws = wb.active# 这里添加代码对工作表进行布局设计# ...# 保存新工作簿wb.save(\'filtered_data.xlsx\') 接下来，我们可以在工作表中填充数据，使用诸如 ws.append() 方法，将数据逐行写入工作表中。
5.2 筛选结果的迁移与存储
在本小节中，我们将关注如何将筛选出的数据迁移到新工作表，并保存到文件中。
5.2.1 将筛选结果写入新工作表
在数据筛选后，我们通常需要将这些结果迁移到新工作表中。以下是使用pandas和openpyxl将筛选结果写入新工作表的示例。
使用pandas
# 假设df_filtered是我们筛选后的DataFrame# 创建一个空的Excel文件，并添加一个名为\'New_Sheet\'的工作表with pd.ExcelWriter(\'filtered_data.xlsx\') as writer: # 将筛选结果写入\'New_Sheet\' df_filtered.to_excel(writer, sheet_name=\'New_Sheet\', index=False)使用openpyxl
from openpyxl import Workbook# 创建一个新工作簿wb = Workbook()ws = wb.active# 假设data是一个列表，包含了我们筛选后的数据# 将数据写入工作表for row in data: ws.append(row)# 保存工作簿到文件wb.save(\'filtered_data.xlsx\')5.2.2 使用pandas和openpyxl保存文件
无论是使用pandas还是openpyxl，最终我们都要将处理好的数据保存到Excel文件中。这一步骤是非常关键的，因为它确保了数据的持久化存储。
使用pandas
# df_filtered 是包含筛选结果的 DataFrame# \'filtered_data.xlsx\' 是我们希望保存的文件名df_filtered.to_excel(\'filtered_data.xlsx\', index=False)使用openpyxl
# 假设wb是已经填充好数据的Workbook对象# \'filtered_data.xlsx\' 是文件名wb.save(\'filtered_data.xlsx\')5.3 整合代码实现自动化工作流
最后，为了提高效率，我们可以整合之前介绍的步骤，编写一个自动化脚本来执行整个工作流。
5.3.1 编写自动化脚本
编写一个脚本，该脚本能够读取原始数据，执行筛选操作，并将结果保存到新的Excel工作表中。
import pandas as pdfrom openpyxl import Workbook# 假设原始数据在\'original_data.xlsx\'中，我们按照某些条件进行筛选df = pd.read_excel(\'original_data.xlsx\')# 这里添加筛选逻辑df_filtered = df[df[\'Some_Condition\'] > 100]# 使用pandas将筛选结果写入Excel文件df_filtered.to_excel(\'filtered_data.xlsx\', index=False)# 或者使用openpyxl进行更高级的定制wb = Workbook()ws = wb.active# 假设df_filtered是一个DataFramefor i, row in enumerate(df_filtered.values): if i == 0: headers = list(row) ws.append(headers) ws.append(row)wb.save(\'filtered_data.xlsx\')5.3.2 脚本的优化与维护
在脚本创建完毕后，应定期对其进行优化和维护。比如，可以添加异常处理来避免数据读取或写入时的错误，使用日志记录脚本的运行过程，并且对于经常更新的代码逻辑，保持脚本的模块化以便于维护。
try: # 数据处理逻辑except Exception as e: print(f\"An error occurred: {e}\")这样，我们就完成了整个数据筛选与存储的工作流程。通过合理地利用pandas和openpyxl库，我们能够高效地完成数据的自动化处理与存储。
本文还有配套的精品资源，点击获取
简介：Python搭配pandas和openpyxl库，可高效地对Excel数据进行自动处理。本文介绍了如何使用Python对Excel中的数据进行条件筛选，并将筛选结果保存到新的工作表中。内容涵盖了库的安装、数据的读取、单条件或多条件筛选、高级筛选技术、自定义函数的使用以及处理大型数据文件的策略。这将帮助用户实现办公自动化，提高数据处理效率。
本文还有配套的精品资源，点击获取
