Pandas 入门

如题所述

第1个回答  2022-06-30

pd.Series 主要设置两个参数,data 和 index,如果不设置 index,则 index 从 0 开始递增。除此之外,还可以设置 dtype。

除了直接设置各个字段,还可以将字典作为参数传入,series 会自动将 key 作为 index,将 value 作为 data。

为了保证数据存取的效率,series 的 index 必须是可哈希的。

series 和字典一样,索引和修改的时间复杂度为 。它有两种索引方式,第一种索引方式与字典相同,但强烈不推荐,会导致各种副作用:

在某些情况下,它会产生歧义:

第二种索引方式是采用 .loc 方法,这种写法是推荐的:

注意一个细节:利用 index 做切片时,和 list 或者 array 利用下标切片,不包括末尾元素不同,index 切片是包括 end 元素的。
除了利用 index 切片,Series 也可以用下标切片,此时不包括终点下标对应的元素,表现和 python 惯例一致:

不像字典的 key 是唯一的,Series 支持 index 包含重复元素。但对 Series 做切片时,如果重复的 index 不是相邻的,则会报错:"Cannot get left\right slice bound for non-unique label: 'xxx' "。

因此强烈建议先对 index 排序,这样可以保证切片能够一直能正确运行,并且还能提高索引的效率。

和 numpy 一样,Series 也支持高级索引:

两个 Series 可以相加,只有相同 label 的数据会相加,只存在于其中一个 Series 的数据相加后为 NaN,但也可以指定一方缺失的 label 对应的默认值:

需要注意的是,在操作过程中, series value 的数据类型可能会隐式地被改变,如果不注意,很有可能影响增删的效率,甚至产生错误的结果。

影响效率的例子:

产生错误结果的例子:

DataFrame 还支持广播功能:

可以将 DataFrame 保存为 csv 文件或 json 文件

包括一系列函数:

p.describe() 默认只显示数字列,但也可以设置参数 include='all' 现实所有列。
p.loc['sonia'] 展示 sonia 行
p.loc['sonia', 'age'] 只显示 sonia 的年龄

筛选出女性条目:

增加年龄筛选条件:

DataFrame.mean() 可以按列计算平均值

几种不建议的写法:

p.drop(columns=['mean', ], inplace=True) 用于删除一列或多列, inplace 作用是,设置是否修改原来的 p,如果True,返回 None,原 p 被修改,如果 False,返回被修改后的 DataFrame,同时原 p 保留。

DataFrame 支持所有 numpy 的函数,numpy 函数可以直接施加在 DataFrame 上,例如:

但是,如果需要用到 DataFrame 的 label 对齐特性,例如两个 index 顺序并不相同的 DataFrame 相加,那么 numpy 的函数将直接计算中间的 values,而不会考虑它们 label 对齐的问题。(该问题已经在 pandas 0.2.5 中被修正)

运算中设置 fill_value 可以让表中缺失的数据被 fill_value 代替。

当一个 Series 和一个 DataFrame 相加时,pandas 会默认 Series 是一行,并把它广播到其它行。Series 的 index 会被对应到 DataFrame 的列上,并对齐。如果 Series 的 index 与 DataFrame 的列没关系,那么会扩增 DataFrame,扩增区域对应的数据为 NaN。如果想让 Series 的 index 和 DataFrame 的index 对应,则需要指定 axis=0:

在构建 pandas Series 或者 DataFrame 时,有两种方式可以表示 NaN,一种是 np.NaN ,另一种是python 的 None 对象。 np.NaN 的数据类型是 float ,因此,在 pandas 中,存在 NaN 的对象要么是 float64 的,要么是 object 类型。

pandas 利用如下方法处理缺失数据:

MultiIndex 适用于数组大于二维的情况。所有可以用 Index 的地方,都可以用 MultiIndex 。
MultiIndex Series

MultiIndex DataFrame 利用 from_product 可以方便地创建 MultiIndex。

MultiIndex DataFrame 的索引十分方便

元组配合 slice ,为 MultiIndex DataFrame 做切片:

concat 用于将两个表拼接起来,它适用于两个表有相同的 index 或者有相同的 columns。

concat 也适用于拼接 Series,但是不论是 DataFrame 还是 Series,它不会检查各行的 index 是否重复。

一个解决方案是设置 verify_integrity 参数,它会在遇到两个相同 index 的时候报错。但是这无疑会导致额外的计算,因此除非确实必要,一般不设置它。

设置拼接参数

merge 适用于两个表某 相同,然后所有的融合都基于该列:

merge 默认采取 inner join 的策略,如果以某列为基准,那么最终结果中,只有同时出现在这两列中的数据被保留。
总共有三种merge 的方式:

merge 可以设置 on= 或者 left_on= 、 right_on= 显式指定基准列

当两表中的基准列元素不完全一致时,通过设置 how 有四种 merge 策略:

groupby 按照某个指标聚类,分别计算各类数据

groupby 返回值的属性:

groupby 方法分发。 groupby 返回的对象如果没有实现某个 DataFrame的方法,该对象仍然可以调用,只不过是遍历每个类别,分别调用。

groupby().agg 方法:agg 中以 list/dict 形式传入函数名(或名字的字符串),计算每个组的统计量。

groupby().filter() filter 内传入筛选条件,可以是 lambda 表达式

groupby().transform() transform 内传入变换函数,如 lambda 表达式,变换函数将施加在每个子 group 上,一个经典用例是用它来对每个 group 内部中心化,或者用group 均值代替其中的 NaN。

以 titanic 的例子,我们希望得到这样的表格:有三行,每行代表一个舱位级别;有两列,每列代表一个性别。此时需要用到 pivot_table 。 pivot_table 相当于把 groupby 的结果表示为二维表格。

numpy 和 pandas 可以很好地处理各种格式的时间字符串,将其转化为标准格式。同时提供了一系列方法,对时间序列求区间、采样等等。