文章目录
二. pandas入门
2.1 数据结构
2.1.1 Series对象
2.1.2 DataFrame对象
2.2 读取数据
2.2.1 读取Excel：read_excel()
1. 读取特定工作簿：sheet_name
2. 指定列标签：header
3. 指定行标签：index_col
4. 读取指定列：usecols
2.2.2 读取csv：read_csv()
2.3 查看数据的行数和列数
2.3.1 查看前几行：head()
2.3.2 查看行数和列数：shape
2.3.3 查看数据的类型：info()、dtype、astype()
2.4 选择数据
2.4.1 选择行：loc()、iloc()
2.4.2 选择列数据：iloc()
2.4.3 同时选择行列数据
2.5 修改行列标签：columns、index、set_index()
三. pandas进阶
3.1 数据的查找和替换
3.1.1 查找：isin()
3.1.2 替换：replace()
3.2 数据的处理
3.2.1 插入：insert()
3.2.2 删除：drop()
3.2.3 处理缺失值：isnulll()、dropna()、fillna()
3.2.4 处理重复值：drop_duplicates()、subset、unique()
3.2.5 排序数据：sort_values()、rank()
3.2.6 筛选数据
3.3 数据表的处理
3.3.1 转置表的行列：T
3.3.2 将表转换成树形结构：stack()
3.3.3 表的拼接：merge()、concat()、append()
3.4 数据的运算
3.4.1 统计运算：sum()、mean()、max()
3.4.2 获取数值分布情况：describe()
3.4.3 计算相关系数：corr()
3.4.4 分组汇总数据：groupby()
3.4.5 创建数据透视表：pivot_table()
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转：人工智能从入门到精通教程
2.1 数据结构
pandas有两个重要的数据结构对象：Series和DataFrame
2.1.1 Series对象
Series是创建一个一维数组对象，会自动生成行标签。
import pandas as pd
s = pd.Series(['短裤', '毛衣', '连衣裙', '牛仔裤'])
print(s)
0
短裤
1
毛衣
2
连衣裙
3
牛仔裤
dtype: object
index参数可以指定行标签
import pandas as pd
s1 = pd.Series(['短裤', '毛衣', '连衣裙', '牛仔裤'], index = ['a001', 'a002', 'a003', 'a004']) # 添加行标签
print(s1)
a001
短裤
a002
毛衣
a003
连衣裙
a004
牛仔裤
dtype: object
使用Series对象还可以基于字典创建数据
import pandas as pd
s2 = pd.Series({'a001':'短裤', 'a002':'毛衣', 'a003':'连衣裙', 'a004':'牛仔裤'})
print(s2)
a001
短裤
a002
毛衣
a003
连衣裙
a004
牛仔裤
dtype: object
2.1.2 DataFrame对象
会自动生成行列标签
import pandas as pd
df = pd.DataFrame([['短裤', 45], ['毛衣', 69], ['连衣裙', 119], ['牛仔裤', 99]])
print(df)
0
1
0
短裤
45
1
毛衣
69
2
连衣裙
119
3
牛仔裤
99
可以columns参数指定列标签；index参数指定行标签
import pandas as pd
df1 = pd.DataFrame([['短裤', 45], ['毛衣', 69], ['连衣裙', 119], ['牛仔裤', 99]], columns=['产品', '单价'], index=['a001', 'a002', 'a003', 'a004'])
print(df1)
产品
单价
a001
短裤
45
a002
毛衣
69
a003
连衣裙
119
a004
牛仔裤
99
例：也可以用字典形式生成数据
import pandas as pd
df3 = pd.DataFrame({'产品':['短裤', '毛衣', '连衣裙', '牛仔裤'],'单价':[45, 69, 119, 99]})
print(df3)
产品
单价
0
短裤
45
1
毛衣
69
2
连衣裙
119
3
牛仔裤
99
例：在用字典生成数据的基础上，同时指定行标签
import pandas as pd
df3 = pd.DataFrame({'产品':['短裤', '毛衣', '连衣裙', '牛仔裤'],'单价':[45, 69, 119, 99]}, index = ['a001', 'a002', 'a003', 'a004'])
print(df3)
产品
单价
a001
短裤
45
a002
毛衣
69
a003
连衣裙
119
a004
牛仔裤
99
2.2 读取数据
2.2.1 读取Excel：read_excel()
1. 读取特定工作簿：sheet_name
例如对下表的数据进行读取
4月是第四个表，我们应把sheet_name参数指定为3；因为索引是从0开始的。
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data)
订单编号
产品
数量
金额
0
d001
投影仪
5台
2000
1
d002
马克笔
5盒
300
2
d003
打印机
1台
298
3
d004
点钞机
1台
349
4
d005
复印纸
2箱
100
5
d006
条码纸
6卷
34
可以看出read_excel()函数自动创建了一个DataFrame对象，同时自动把第一行数据当做列标签。
2. 指定列标签：header
可以看出不给出header参数时，该参数默认为0。
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, header=0)
print(data)
订单编号
产品
数量
金额
0
d001
投影仪
5台
2000
1
d002
马克笔
5盒
300
2
d003
打印机
1台
298
3
d004
点钞机
1台
349
4
d005
复印纸
2箱
100
5
d006
条码纸
6卷
34
header=1时结果如下：
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, header=1)
print(data)
d001
投影仪
5台
2000
0
d002
马克笔
5盒
300
1
d003
打印机
1台
298
2
d004
点钞机
1台
349
3
d005
复印纸
2箱
100
4
d006
条码纸
6卷
34
header=None时结果如下：
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name = 3, header = None)
print(data)
0
1
2
3
0
订单编号
产品
数量
金额
1
d001
投影仪
5台
2000
2
d002
马克笔
5盒
300
3
d003
打印机
1台
298
4
d004
点钞机
1台
349
5
d005
复印纸
2箱
100
6
d006
条码纸
6卷
34
3. 指定行标签：index_col
该参数默认为None
index_col=0时，第0列为列标签
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
print(data)
产品
数量
金额
订单编号
d001
投影仪
5台
2000
d002
马克笔
5盒
300
d003
打印机
1台
298
d004
点钞机
1台
349
d005
复印纸
2箱
100
d006
条码纸
6卷
34
index_col=1时
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=1)
print(data)
订单编号
数量
金额
产品
投影仪
d001
5台
2000
马克笔
d002
5盒
300
打印机
d003
1台
298
点钞机
d004
1台
349
复印纸
d005
2箱
100
条码纸
d006
6卷
34
4. 读取指定列：usecols
usecols=[2]：指定第二列
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, usecols=[2])
print(data)
数量
0
5台
1
5盒
2
1台
3
1台
4
2箱
5
6卷
指定多列
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, usecols=[1, 3])
print(data)
产品
金额
0
投影仪
2000
1
马克笔
300
2
打印机
298
3
点钞机
349
4
复印纸
100
5
条码纸
34
2.2.2 读取csv：read_csv()
import pandas as pd
data = pd.read_csv('订单表.csv')
print(data)
订单编号
产品
数量
金额
0
d001
投影仪
5台
2000
1
d002
马克笔
5盒
300
2
d003
打印机
1台
298
3
d004
点钞机
1台
349
4
d005
复印纸
2箱
100
5
d006
条码纸
6卷
34
nrows参数可以指定显示的行数
import pandas as pd
data = pd.read_csv('订单表.csv', nrows=3)
# 显示三行
print(data)
订单编号
产品
数量
金额
0
d001
投影仪
5台
2000
1
d002
马克笔
5盒
300
2
d003
打印机
1台
298
2.3 查看数据的行数和列数
2.3.1 查看前几行：head()
head()函数中参数为空默认前5行
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data.head())
订单编号
产品
数量
金额
0
d001
投影仪
5台
2000
1
d002
马克笔
5盒
300
2
d003
打印机
1台
298
3
d004
点钞机
1台
349
4
d005
复印纸
2箱
100
例：指定head(3)时如下
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data.head(3))
订单编号
产品
数量
金额
0
d001
投影仪
5台
2000
1
d002
马克笔
5盒
300
2
d003
打印机
1台
298
2.3.2 查看行数和列数：shape
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data)
print(data.shape)
订单编号
产品
数量
金额
0
d001
投影仪
5台
2000
1
d002
马克笔
5盒
300
2
d003
打印机
1台
298
3
d004
点钞机
1台
349
4
d005
复印纸
2箱
100
5
d006
条码纸
6卷
34
(6, 4)
2.3.3 查看数据的类型：info()、dtype、astype()
1. info()函数
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name = 3)
print(data.info())
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 6 entries, 0 to 5
Data columns (total 4 columns):#
Column
Non-Null Count
Dtype
---
------
--------------
----- 0
订单编号
6 non-null
object1
产品
6 non-null
object2
数量
6 non-null
object3
金额
6 non-null
int64
dtypes: int64(1), object(3)
memory usage: 320.0+ bytes
None
2. dtype参数
例：查看特定列的书库类型
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name = 3)
print(data['金额'].dtype)
int64
3. astype()函数
例：特定列的数据类型转换
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name = 3)
data['金额'] = data['金额'].astype('float64')
print(data)
print(data['金额'].dtype)
订单编号
产品
数量
金额
0
d001
投影仪
5台
2000.0
1
d002
马克笔
5盒
300.0
2
d003
打印机
1台
298.0
3
d004
点钞机
1台
349.0
4
d005
复印纸
2箱
100.0
5
d006
条码纸
6卷
34.0
float64
2.4 选择数据
2.4.1 选择行：loc()、iloc()
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
#index_col指定行标签
print(data)
产品
数量
金额
订单编号
d001
投影仪
5台
2000
d002
马克笔
5盒
300
d003
打印机
1台
298
d004
点钞机
1台
349
d005
复印纸
2箱
100
d006
条码纸
6卷
34
1. 挑选单行
loc()函数加行标签指定行
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
print(data.loc['d001'])
产品
投影仪
数量
5台
金额
2000
Name: d001, dtype: object
iloc()函数加索引指定行号
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
print(data.iloc[2])
产品
打印机
数量
1台
金额
298
Name: d003, dtype: object
2. 挑选多行
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
print(data.loc[['d002', 'd004']])
产品
数量
金额
订单编号
d002
马克笔
5盒
300
d004
点钞机
1台
349
iloc()挑选：
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
print(data.iloc[[1, 5]])
# 1,5
产品
数量
金额
订单编号
d002
马克笔
5盒
300
d006
条码纸
6卷
34产品
数量
金额
或者给出区间
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
print(data.iloc[1:5])
#1-5
产品
数量
金额
订单编号
d002
马克笔
5盒
300
d003
打印机
1台
298
d004
点钞机
1台
349
d005
复印纸
2箱
100
3. 挑选满足条件的行
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
a = data['金额'] < 300
#挑选金额>300的行
print(data[a])
产品
数量
金额
订单编号
d003
打印机
1台
298
d005
复印纸
2箱
100
d006
条码纸
6卷
34
2.4.2 选择列数据：iloc()
1. 挑选单列
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data['产品'])
0
投影仪
1
马克笔
2
打印机
3
点钞机
4
复印纸
5
条码纸
Name: 产品, dtype: object
2. 挑选多列
例：通过列标签挑选多列
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data[['产品', '金额']])
产品
金额
0
投影仪
2000
1
马克笔
300
2
打印机
298
3
点钞机
349
4
复印纸
100
5
条码纸
34
例：通过索引挑选多列
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data.iloc[:, [1,3]])
产品
金额
0
投影仪
2000
1
马克笔
300
2
打印机
298
3
点钞机
349
4
复印纸
100
5
条码纸
34
或者写成区间
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data.iloc[:, 1:3])
# 左闭右开
产品
数量
0
投影仪
5台
1
马克笔
5盒
2
打印机
1台
3
点钞机
1台
4
复印纸
2箱
5
条码纸
6卷
2.4.3 同时选择行列数据
例：通过标签挑选
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
data1 = data.loc[['d001', 'd005'], ['产品', '金额']]
print(data1)
产品
金额
订单编号
d001
投影仪
2000
d005
复印纸
100
例：通过索引挑选
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3, index_col=0)
data2 = data.iloc[[2, 4], [0, 2]]
print(data2)
产品
金额
订单编号
d003
打印机
298
d005
复印纸
100
2.5 修改行列标签：columns、index、set_index()
先查看一下数据
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data)
订单编号
产品
数量
金额
0
d001
投影仪
5台
2000
1
d002
马克笔
5盒
300
2
d003
打印机
1台
298
3
d004
点钞机
1台
349
4
d005
复印纸
2箱
100
5
d006
条码纸
6卷
34
set_index()设置行标签
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
print(data.set_index('订单编号'))
#订单编号那一列为行标签
产品
数量
金额
订单编号
d001
投影仪
5台
2000
d002
马克笔
5盒
300
d003
打印机
1台
298
d004
点钞机
1台
349
d005
复印纸
2箱
100
d006
条码纸
6卷
34
例：字典一对一修改
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
data = data.rename(columns={'订单编号':'编号', '产品':'产品名称', '数量':'订单数量', '金额':'订单金额'}, index = {0:'A', 1:'B', 2:'C', 3:'D', 4:'E', 5:'F'})
print(data)
编号 产品名称 订单数量
订单金额
A
d001
投影仪
5台
2000
B
d002
马克笔
5盒
300
C
d003
打印机
1台
298
D
d004
点钞机
1台
349
E
d005
复印纸
2箱
100
F
d006
条码纸
6卷
34
columns、index参数分别修改列、行标签
import pandas as pd
data = pd.read_excel('订单表.xlsx', sheet_name=3)
data.columns = ['编号', '产品名称', '订单数量', '订单金额']
data.index = ['A', 'B', 'C', 'D', 'E', 'F']
print(data)
编号 产品名称 订单数量
订单金额
A
d001
投影仪
5台
2000
B
d002
马克笔
5盒
300
C
d003
打印机
1台
298
D
d004
点钞机
1台
349
E
d005
复印纸
2箱
100
F
d006
条码纸
6卷
34
3.1 数据的查找和替换
3.1.1 查找：isin()
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
print(data)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16
65
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
2
a003
背包
16
65
23
368
1495
1127
3
a004
手提包
36
147
26
936
3822
2886
4
a005
钱包
90
187
78
7020
14586
7566
5
a006
单肩包
58
124
63
3654
7812
4158
6
a007
单肩包
58
124
58
3364
7192
3828
例：isin()函数查看表中是否有该值
data1 = data.isin(['a005','钱包'])
# 查找a005 或 钱包
print(data1)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
False
False
False
False
False
False
False
False
1
False
True
False
False
False
False
False
False
2
False
False
False
False
False
False
False
False
3
False
False
False
False
False
False
False
False
4
True
True
False
False
False
False
False
False
5
False
False
False
False
False
False
False
False
6
False
False
False
False
False
False
False
False
例：查看特定列是否有某值
data2 = data['产品'].isin(['手提包'])
print(data2)
0
False
1
False
2
False
3
True
4
False
5
False
6
False
Name: 产品, dtype: bool
3.1.2 替换：replace()
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
data.replace('背包', '挎包')
#并没有替换
print(data)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16
65
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
2
a003
背包
16
65
23
368
1495
1127
3
a004
手提包
36
147
26
936
3822
2886
4
a005
钱包
90
187
78
7020
14586
7566
5
a006
单肩包
58
124
63
3654
7812
4158
6
a007
单肩包
58
124
58
3364
7192
3828
可以看出上述代码并没有替换，那怎么替换呢？
1. 一对一替换
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
data.replace('背包', '挎包', inplace = True)
# 加入inplace=True
print(data)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
挎包
16
65
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
2
a003
挎包
16
65
23
368
1495
1127
3
a004
手提包
36
147
26
936
3822
2886
4
a005
钱包
90
187
78
7020
14586
7566
5
a006
单肩包
58
124
63
3654
7812
4158
6
a007
单肩包
58
124
58
3364
7192
3828
2. 多对一替换
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
data.replace(['背包', '手提包'], '挎包', inplace = True)
print(data)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
挎包
16
65
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
2
a003
挎包
16
65
23
368
1495
1127
3
a004
挎包
36
147
26
936
3822
2886
4
a005
钱包
90
187
78
7020
14586
7566
5
a006
单肩包
58
124
63
3654
7812
4158
6
a007
单肩包
58
124
58
3364
7192
3828
3. 多对多替换
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
data.replace({'背包':'挎包', 16:39, 65:88}, inplace = True)
print(data)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
挎包
39
88
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
2
a003
挎包
39
88
23
368
1495
1127
3
a004
手提包
36
147
26
936
3822
2886
4
a005
钱包
90
187
78
7020
14586
7566
5
a006
单肩包
58
124
63
3654
7812
4158
6
a007
单肩包
58
124
58
3364
7192
3828
3.2 数据的处理
3.2.1 插入：insert()
例：末尾插入一列
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
data['品牌'] = ['AM', 'DE', 'SR', 'AM', 'TY', 'DE', 'UD']
print(data)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
品牌
0
a001
背包
16
65
60
960
3900
2940
AM
1
a002
钱包
90
187
50
4500
9350
4850
DE
2
a003
背包
16
65
23
368
1495
1127
SR
3
a004
手提包
36
147
26
936
3822
2886
AM
4
a005
钱包
90
187
78
7020
14586
7566
TY
5
a006
单肩包
58
124
63
3654
7812
4158
DE
6
a007
单肩包
58
124
58
3364
7192
3828
UD
例：指定插入到哪列
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
data.insert(2, '品牌', ['AM', 'DE', 'SR', 'AM', 'TY', 'DE', 'UD'])
print(data)
编号
产品
品牌
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
AM
16
65
60
960
3900
2940
1
a002
钱包
DE
90
187
50
4500
9350
4850
2
a003
背包
SR
16
65
23
368
1495
1127
3
a004
手提包
AM
36
147
26
936
3822
2886
4
a005
钱包
TY
90
187
78
7020
14586
7566
5
a006
单肩包
DE
58
124
63
3654
7812
4158
6
a007
单肩包
UD
58
124
58
3364
7192
3828
3.2.2 删除：drop()
axis参数可以指定删除行还是删除列
1. 删除列
例：指定标签删除
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
a = data.drop(['成本价(元/个)', '成本(元)'], axis = 1)
print(a)
编号
产品
销售价(元/个)
数量(个)
收入(元)
利润(元)
0
a001
背包
65
60
3900
2940
1
a002
钱包
187
50
9350
4850
2
a003
背包
65
23
1495
1127
3
a004
手提包
147
26
3822
2886
4
a005
钱包
187
78
14586
7566
5
a006
单肩包
124
63
7812
4158
6
a007
单肩包
124
58
7192
3828
例：指定索引删除
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
b = data.drop(data.columns[[2, 5]], axis = 1)
print(b)
编号
产品
销售价(元/个)
数量(个)
收入(元)
利润(元)
0
a001
背包
65
60
3900
2940
1
a002
钱包
187
50
9350
4850
2
a003
背包
65
23
1495
1127
3
a004
手提包
147
26
3822
2886
4
a005
钱包
187
78
14586
7566
5
a006
单肩包
124
63
7812
4158
6
a007
单肩包
124
58
7192
3828
方法三
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
c = data.drop(columns = ['成本价(元/个)', '成本(元)'])
print(c)
编号
产品
销售价(元/个)
数量(个)
收入(元)
利润(元)
0
a001
背包
65
60
3900
2940
1
a002
钱包
187
50
9350
4850
2
a003
背包
65
23
1495
1127
3
a004
手提包
147
26
3822
2886
4
a005
钱包
187
78
14586
7566
5
a006
单肩包
124
63
7812
4158
6
a007
单肩包
124
58
7192
3828
2. 删除行
例：指定行标签删除
import pandas as pd
data = pd.read_excel('产品统计表.xlsx', index_col = 0)
a = data.drop(['a001', 'a004'], axis = 0)
print(a)
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
编号
a002
钱包
90
187
50
4500
9350
4850
a003
背包
16
65
23
368
1495
1127
a005
钱包
90
187
78
7020
14586
7566
a006
单肩包
58
124
63
3654
7812
4158
a007
单肩包
58
124
58
3364
7192
3828
例：指定索引删除
import pandas as pd
data = pd.read_excel('产品统计表.xlsx', index_col = 0)
b = data.drop(data.index[[0, 4]], axis = 0)
print(b)
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
编号
a002
钱包
90
187
50
4500
9350
4850
a003
背包
16
65
23
368
1495
1127
a004
手提包
36
147
26
936
3822
2886
a006
单肩包
58
124
63
3654
7812
4158
a007
单肩包
58
124
58
3364
7192
3828
方法三：
import pandas as pd
data = pd.read_excel('产品统计表.xlsx', index_col = 0)
c = data.drop(index = ['a001', 'a004'])
print(c)
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
编号
a002
钱包
90
187
50
4500
9350
4850
a003
背包
16
65
23
368
1495
1127
a005
钱包
90
187
78
7020
14586
7566
a006
单肩包
58
124
63
3654
7812
4158
a007
单肩包
58
124
58
3364
7192
3828
3.2.3 处理缺失值：isnulll()、dropna()、fillna()
import pandas as pd
data = pd.read_excel('产品统计表1.xlsx')
print(data)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16.0
65
60
960.0
3900
2940
1
a002
钱包
90.0
187
50
4500.0
9350
4850
2
a003
背包
NaN
65
23
368.0
1495
1127
3
a004
手提包
36.0
147
26
936.0
3822
2886
4
a005
钱包
90.0
187
78
7020.0
14586
7566
5
a006
单肩包
58.0
124
63
3654.0
7812
4158
6
a007
单肩包
58.0
124
58
NaN
7192
3828
info()函数查看数据类型，还可以查看是否有缺失值
import pandas as pd
data = pd.read_excel('产品统计表1.xlsx')
data.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 7 entries, 0 to 6
Data columns (total 8 columns):#
Column
Non-Null Count
Dtype
---
------
--------------
-----
0
编号
7 non-null
object 1
产品
7 non-null
object 2
成本价(元/个)
6 non-null
float643
销售价(元/个)
7 non-null
int64
4
数量(个)
7 non-null
int64
5
成本(元)
6 non-null
float646
收入(元)
7 non-null
int64
7
利润(元)
7 non-null
int64
dtypes: float64(2), int64(4), object(2)
memory usage: 576.0+ bytes
1. 查看缺失值：isnull()
isnull()函数查看是否有缺失值；在numpy模块中用isnan()函数
import pandas as pd
data = pd.read_excel('产品统计表1.xlsx')
a = data.isnull()
print(a)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
False
False
False
False
False
False
False
False
1
False
False
False
False
False
False
False
False
2
False
False
True
False
False
False
False
False
3
False
False
False
False
False
False
False
False
4
False
False
False
False
False
False
False
False
5
False
False
False
False
False
False
False
False
6
False
False
False
False
False
True
False
False
2. 删除缺失值：dropna()
例：删除有缺失值的行
import pandas as pd
data = pd.read_excel('产品统计表1.xlsx')
b = data.dropna()
print(b)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16.0
65
60
960.0
3900
2940
1
a002
钱包
90.0
187
50
4500.0
9350
4850
3
a004
手提包
36.0
147
26
936.0
3822
2886
4
a005
钱包
90.0
187
78
7020.0
14586
7566
5
a006
单肩包
58.0
124
63
3654.0
7812
4158
例：删除整行都为缺失值的行，需要指定how参数
import pandas as pd
data = pd.read_excel('产品统计表1.xlsx')
c = data.dropna(how = 'all')
print(c)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16.0
65
60
960.0
3900
2940
1
a002
钱包
90.0
187
50
4500.0
9350
4850
2
a003
背包
NaN
65
23
368.0
1495
1127
3
a004
手提包
36.0
147
26
936.0
3822
2886
4
a005
钱包
90.0
187
78
7020.0
14586
7566
5
a006
单肩包
58.0
124
63
3654.0
7812
4158
6
a007
单肩包
58.0
124
58
NaN
7192
3828
3. 缺失值的填充：fillna()
import pandas as pd
data = pd.read_excel('产品统计表1.xlsx')
d = data.fillna(0)
# 缺失值全部填充为0
print(d)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16.0
65
60
960.0
3900
2940
1
a002
钱包
90.0
187
50
4500.0
9350
4850
2
a003
背包
0.0
65
23
368.0
1495
1127
3
a004
手提包
36.0
147
26
936.0
3822
2886
4
a005
钱包
90.0
187
78
7020.0
14586
7566
5
a006
单肩包
58.0
124
63
3654.0
7812
4158
6
a007
单肩包
58.0
124
58
0.0
7192
3828
例：不同列的缺失值设置不同的填充值
import pandas as pd
data = pd.read_excel('产品统计表1.xlsx')
e = data.fillna({'成本价(元/个)':16, '成本(元)':3364})
print(e)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16.0
65
60
960.0
3900
2940
1
a002
钱包
90.0
187
50
4500.0
9350
4850
2
a003
背包
16.0
65
23
368.0
1495
1127
3
a004
手提包
36.0
147
26
936.0
3822
2886
4
a005
钱包
90.0
187
78
7020.0
14586
7566
5
a006
单肩包
58.0
124
63
3654.0
7812
4158
6
a007
单肩包
58.0
124
58
3364.0
7192
3828
3.2.4 处理重复值：drop_duplicates()、subset、unique()
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16
65
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
2
a003
背包
16
65
23
368
1495
1127
3
a004
手提包
36
147
26
936
3822
2886
4
a004
手提包
36
147
26
936
3822
2886
# 重复
5
a005
钱包
90
187
78
7020
14586
7566
6
a006
单肩包
58
124
63
3654
7812
4158
1. 删除重复行：drop_duplicates()
a = data.drop_duplicates()
print(a)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16
65
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
2
a003
背包
16
65
23
368
1495
1127
3
a004
手提包
36
147
26
936
3822
2886
5
a005
钱包
90
187
78
7020
14586
7566
6
a006
单肩包
58
124
63
3654
7812
4158
2. 删除某一列的重复值：subset
默认保留第一个重复值所在的行，删除其他重复值所在的行
b = data.drop_duplicates(subset = '产品')
print(b)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16
65
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
3
a004
手提包
36
147
26
936
3822
2886
6
a006
单肩包
58
124
63
3654
7812
4158
保留第一个重复值所在的行
c = data.drop_duplicates(subset = '产品', keep = 'first')
print(c)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
0
a001
背包
16
65
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
3
a004
手提包
36
147
26
936
3822
2886
6
a006
单肩包
58
124
63
3654
7812
4158
保留最后一个重复值所在的行
d = data.drop_duplicates(subset = '产品', keep = 'last')
print(d)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
2
a003
背包
16
65
23
368
1495
1127
4
a004
手提包
36
147
26
936
3822
2886
5
a005
钱包
90
187
78
7020
14586
7566
6
a006
单肩包
58
124
63
3654
7812
4158
是重复的就删除
e = data.drop_duplicates(subset = '产品', keep = False)
print(e)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
6
a006
单肩包
58
124
63
3654
7812
4158
3. 获取唯一值：unique()
f = data['产品'].unique()
print(f)
['背包' '钱包' '手提包' '单肩包']
3.2.5 排序数据：sort_values()、rank()
1. sort_values()
import pandas as pd
data = pd.read_excel('产品统计表2.xlsx')
a = data.sort_values(by = '数量(个)', ascending = True) #第一个参数指定列
第二个参数指定升序
print(a)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
2
a003
背包
16
65
23
368
1495
1127
3
a004
手提包
36
147
26
936
3822
2886
4
a004
手提包
36
147
26
936
3822
2886
1
a002
钱包
90
187
50
4500
9350
4850
0
a001
背包
16
65
60
960
3900
2940
6
a006
单肩包
58
124
63
3654
7812
4158
5
a005
钱包
90
187
78
7020
14586
7566
例：降序如下
b = data.sort_values(by = '数量(个)', ascending = False)
print(b)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
5
a005
钱包
90
187
78
7020
14586
7566
6
a006
单肩包
58
124
63
3654
7812
4158
0
a001
背包
16
65
60
960
3900
2940
1
a002
钱包
90
187
50
4500
9350
4850
3
a004
手提包
36
147
26
936
3822
2886
4
a004
手提包
36
147
26
936
3822
2886
2
a003
背包
16
65
23
368
1495
1127
2. rank()
c = data['利润(元)'].rank(method = 'average', ascending = False)
#指定利润降序排序
有重复值则返回重复值的平均排名
print(c)
0
4.0
1
2.0
2
7.0
3
5.5
4
5.5
5
1.0
6
3.0
Name: 利润(元), dtype: float64
参数指定first时，表示在数据有重复值时，越先出现的数据排名越靠前
d = data['利润(元)'].rank(method = 'first', ascending = False)
print(d)
0
4.0
1
2.0
2
7.0
3
5.0
4
6.0
5
1.0
6
3.0
Name: 利润(元), dtype: float64
3.2.6 筛选数据
获取产品为单肩包的行数据
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
a = data[data['产品'] == '单肩包']
#获取产品为单肩包的行数据
print(a)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
5
a006
单肩包
58
124
63
3654
7812
4158
6
a007
单肩包
58
124
58
3364
7192
3828
获取数量>60的行数据
b = data[data['数量(个)'] > 60]
# 获取数量>60的行数据
print(b)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
4
a005
钱包
90
187
78
7020
14586
7566
5
a006
单肩包
58
124
63
3654
7812
4158
获取产品为单肩包 且 数量>60 的行数据
c = data[(data['产品'] == '单肩包') & (data['数量(个)'] > 60)]
print(c)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
5
a006
单肩包
58
124
63
3654
7812
4158
获取产品为单肩包 或 数量>60 的行数据
d = data[(data['产品'] == '单肩包')
(data['数量(个)'] > 60)]
print(d)
编号
产品
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
4
a005
钱包
90
187
78
7020
14586
7566
5
a006
单肩包
58
124
63
3654
7812
4158
6
a007
单肩包
58
124
58
3364
7192
3828
3.3 数据表的处理
3.3.1 转置表的行列：T
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
a = data.T
print(a)
0
1
2
3
4
5
6
编号
a001
a002
a003
a004
a005
a006
a007
产品
背包
钱包
背包
手提包
钱包
单肩包
单肩包
成本价(元/个)
16
90
16
36
90
58
58
销售价(元/个)
65
187
65
147
187
124
124
数量(个)
60
50
23
26
78
63
58
成本(元)
960
4500
368
936
7020
3654
3364
收入(元)
3900
9350
1495
3822
14586
7812
7192
利润(元)
2940
4850
1127
2886
7566
4158
3828
3.3.2 将表转换成树形结构：stack()
编号
产品
销售价(元/个)
数量(个)
收入(元)
0
a001
背包
65
60
3900
1
a002
钱包
187
50
9350
2
a003
单肩包
124
58
7192
例：stack()函数转换成树形结构
a = data.stack()
print(a)
0
编号
a001产品
背包销售价(元/个)
65数量(个)
60收入(元)
3900
1
编号
a002产品
钱包销售价(元/个)
187数量(个)
50收入(元)
9350
2
编号
a003产品
单肩包销售价(元/个)
124数量(个)
58收入(元)
7192
dtype: object
3.3.3 表的拼接：merge()、concat()、append()
import pandas as pd
data1 = pd.read_excel('产品表.xlsx', sheet_name = 0)
#第0张工作簿
data2 = pd.read_excel('产品表.xlsx',sheet_name = 1)
#第1张工作簿
print(data1)
print(data2)
员工编号 员工姓名 员工性别
0
a001
张三
男
1
a002
李四
女
2
a003
王五
男
3
a004
赵六
男员工编号 员工姓名
销售业绩
0
a001
张三
360000
1
a002
李四
458000
2
a003
王五
369000
3
a004
赵六
450000
4
a005
钱七
500000
1. merge()
a = pd.merge(data1, data2)
#行取交集
列取并集
print(a)
员工编号 员工姓名 员工性别
销售业绩
0
a001
张三
男
360000
1
a002
李四
女
458000
2
a003
王五
男
369000
3
a004
赵六
男
450000
how参数指定外连接
b = pd.merge(data1, data2, how = 'outer')
#行取并集
列取并集
print(b)
员工编号 员工姓名 员工性别
销售业绩
0
a001
张三
男
360000
1
a002
李四
女
458000
2
a003
王五
男
369000
3
a004
赵六
男
450000
4
a005
钱七
NaN
500000
on参数指定按哪一列合并
c = pd.merge(data1, data2, on = '员工姓名')
print(c)
员工编号_x 员工姓名 员工性别 员工编号_y
销售业绩
0
a001
张三
男
a001
360000
1
a002
李四
女
a002
458000
2
a003
王五
男
a003
369000
3
a004
赵六
男
a004
450000
2. concat()
concat()函数采用全连接的方式，没有的数设置为缺失值
d = pd.concat([data1, data2])
print(d)
员工编号 员工姓名 员工性别
销售业绩
0
a001
张三
男
NaN
1
a002
李四
女
NaN
2
a003
王五
男
NaN
3
a004
赵六
男
NaN
0
a001
张三
NaN
360000.0
1
a002
李四
NaN
458000.0
2
a003
王五
NaN
369000.0
3
a004
赵六
NaN
450000.0
4
a005
钱七
NaN
500000.0
重置行标签
e = pd.concat([data1, data2], ignore_index = True)
#重置行标签
print(e)
员工编号 员工姓名 员工性别
销售业绩
0
a001
张三
男
NaN
1
a002
李四
女
NaN
2
a003
王五
男
NaN
3
a004
赵六
男
NaN
4
a001
张三
NaN
360000.0
5
a002
李四
NaN
458000.0
6
a003
王五
NaN
369000.0
7
a004
赵六
NaN
450000.0
8
a005
钱七
NaN
500000.0
3. append()
效果与concat()全连接一样
f = data1.append(data2)
print(f)
员工编号 员工姓名 员工性别
销售业绩
0
a001
张三
男
NaN
1
a002
李四
女
NaN
2
a003
王五
男
NaN
3
a004
赵六
男
NaN
0
a001
张三
NaN
360000.0
1
a002
李四
NaN
458000.0
2
a003
王五
NaN
369000.0
3
a004
赵六
NaN
450000.0
4
a005
钱七
NaN
500000.0
末尾添加行元素
g = data1.append({'员工编号':'a005', '员工姓名':'孙七', '员工性别':'男'}, ignore_index = True)
print(g)
员工编号 员工姓名 员工性别
0
a001
张三
男
1
a002
李四
女
2
a003
王五
男
3
a004
赵六
男
4
a005
孙七
男
3.4 数据的运算
3.4.1 统计运算：sum()、mean()、max()
1. 求和：sum()
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
a = data.sum()
# 每一列求和
print(a)
编号
a001a002a003a004a005a006a007
产品
背包钱包背包手提包钱包单肩包单肩包
成本价(元/个)
364
销售价(元/个)
899
数量(个)
358
成本(元)
20802
收入(元)
48157
利润(元)
27355
dtype: object
例：指定列求和
b = data['利润(元)'].sum()
print(b)
27355
2. 求平均值：mean()
c = data.mean() #每一列求平均值
print(c)
成本价(元/个)
52.000000
销售价(元/个)
128.428571
数量(个)
51.142857
成本(元)
2971.714286
收入(元)
6879.571429
利润(元)
3907.857143
dtype: float64
例：指定列求均值
d = data['利润(元)'].mean()
print(d)
3907.8571428571427
3. 求最值：max()
e = data.max()
print(e)
编号
a007
产品
钱包
成本价(元/个)
90
销售价(元/个)
187
数量(个)
78
成本(元)
7020
收入(元)
14586
利润(元)
7566
dtype: object
例：指定列求最值
f = data['利润(元)'].max()
print(f)
7566
3.4.2 获取数值分布情况：describe()
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
a = data.describe()
print(a)
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
count
7.000000
7.000000
7.000000
7.000000
7.000000
7.000000
mean
52.000000
128.428571
51.142857
2971.714286
6879.571429
3907.857143
std
31.112698
50.483849
20.053500
2391.447659
4352.763331
2002.194498
min
16.000000
65.000000
23.000000
368.000000
1495.000000
1127.000000
25%
26.000000
94.500000
38.000000
948.000000
3861.000000
2913.000000
50%
58.000000
124.000000
58.000000
3364.000000
7192.000000
3828.000000
75%
74.000000
167.000000
61.500000
4077.000000
8581.000000
4504.000000
max
90.000000
187.000000
78.000000
7020.000000
14586.000000
7566.000000
例：获取单列的情况
b = data['利润(元)'].describe()
print(b)
count
7.000000
mean
3907.857143
std
2002.194498
min
1127.000000
25%
2913.000000
50%
3828.000000
75%
4504.000000
max
7566.000000
Name: 利润(元), dtype: float64
3.4.3 计算相关系数：corr()
import pandas as pd
data = pd.read_excel('相关性分析.xlsx')
print(data)
代理商编号
年销售额（万元）
年广告费投入额（万元）
成本费用（万元）
管理费用（万元）
0
A-001
20.5
15.6
2.00
0.80
1
A-003
24.5
16.7
2.54
0.94
2
B-002
31.8
20.4
2.96
0.88
3
B-006
34.9
22.6
3.02
0.79
4
B-008
39.4
25.7
3.14
0.84
5
C-003
44.5
28.8
4.00
0.80
6
C-004
49.6
32.1
6.84
0.85
7
C-007
54.8
35.9
5.60
0.91
8
D-006
58.5
38.7
6.45
0.90
corr()函数获取相关系数
a = data.corr()
print(a)
年销售额（万元）
年广告费投入额（万元）
成本费用（万元）
管理费用（万元）
年销售额（万元）
1.000000
0.996275
0.914428
0.218317
年广告费投入额（万元）
0.996275
1.000000
0.918404
0.223187
成本费用（万元）
0.914428
0.918404
1.000000
0.284286
管理费用（万元）
0.218317
0.223187
0.284286
1.000000
例：获取指定列与其他列的相关系数
b = data.corr()['年销售额（万元）']
print(b)
年销售额（万元）
1.000000
年广告费投入额（万元）
0.996275
成本费用（万元）
0.914428
管理费用（万元）
0.218317
Name: 年销售额（万元）, dtype: float64
3.4.4 分组汇总数据：groupby()
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
a = data.groupby('产品')
#根据产品列分组
print(a)
<pandas.core.groupby.generic.DataFrameGroupBy object at 0x00000213943E4640>
groupby()函数返回的是一个DataFrameBy对象，该对象包含分组后的数据，但是不能直观地显示出来。
b = data.groupby('产品').sum()
print(b)
成本价(元/个)
销售价(元/个)
数量(个)
成本(元)
收入(元)
利润(元)
产品
单肩包
116
248
121
7018
15004
7986
手提包
36
147
26
936
3822
2886
背包
32
130
83
1328
5395
4067
钱包
180
374
128
11520
23936
12416
分组后获取指定列的汇总情况
c = data.groupby('产品')['利润(元)'].sum()
print(c)
产品
单肩包
7986
手提包
2886
背包
4067
钱包
12416
Name: 利润(元), dtype: int64
获取多列的汇总情况
d = data.groupby('产品')['数量(个)', '利润(元)'].sum()
print(d)
数量(个)
利润(元)
产品
单肩包
121
7986
手提包
26
2886
背包
83
4067
钱包
128
12416
3.4.5 创建数据透视表：pivot_table()
values参数用于指定要计算的列
index参数用于指定一个列作为数据透视表的行标签
aggfunc参数用于指定参数values的计算类型
import pandas as pd
data = pd.read_excel('产品统计表.xlsx')
a = pd.pivot_table(data, values = '利润(元)', index = '产品', aggfunc = 'sum')
#data.groupby('产品')['利润(元)'].sum()
同样功能
print(a)
利润(元)
产品
单肩包
7986
手提包
2886
背包
4067
钱包
12416
获取多列的情况
b = pd.pivot_table(data, values = ['利润(元)', '成本(元)'], index = '产品', aggfunc = 'sum')
print(b)
利润(元)
成本(元)
产品
单肩包
7986
7018
手提包
2886
936
背包
4067
1328
钱包
12416
11520
