Pandas备忘单用法详解

Pandas可用作数据科学最重要的Python软件包。它有助于提供许多以更简单的方式处理数据的功能。它的快速, 灵活和富有表现力的数据结构旨在进行真实的数据分析。

Pandas备忘单是快速入门的Pandas基础知识, 你将需要开始使用Python处理数据。如果你想开始使用Pandas进行数据科学之旅, 可以将其用作轻松处理数据的便捷参考。

该备忘单将指导Pandas库的基础知识, 从数据结构到I / O, 选择, 排序和排名等。

密钥和导入

我们在备忘单中使用以下速记：

• df：引用任何Pandas Dataframe对象。
• s：引用任何Pandas系列对象。你可以使用以下导入来开始：

汇入资料

• pd.read_csv(filename)：它从CSV文件读取数据。
• pd.read_table(filename)：用于从定界文本文件中读取数据。
• pd.read_excel(filename)：它从Excel文件读取数据。
• pd.read_sql(query, connection _object)：它从SQL表/数据库读取数据。
• pd.read_json(json _string)：它从JSON格式的字符串, URL或文件中读取数据。
• pd.read_html(url)：它解析html URL, 字符串或文件, 并将表提取到数据帧列表中。
• pd.read_clipboard()：它获取剪贴板的内容, 并将其传递给read_table()函数。
• pd.DataFrame(dict)：从dict中, 输入列名称的键, 将数据的值显示为列表。

汇出资料

• df.to_csv(filename)：写入CSV文件。
• df.to_excel(filename)：写入Excel文件。
• df.to_sql(table_name, connection_object)：写入SQL表。
• df.to_json(filename)：它以JSON格式写入文件。

创建测试对象

这对于测试代码段很有用。

• pd.DataFrame(np.random.rand(7, 18))：引用18列和7行的随机浮点数。
• pd.Series(my_list)：它从可迭代的my_list创建一个Series。
• df.index = pd.date_range(‘1940/1/20’, period = df.shape [0])：添加日期索引。

查看/检查数据

• df.head(n)：它返回DataFrame的前n行。
• df.tail(n)：它返回DataFrame的最后n行。
• df.shape：返回行数和列数。
• df.info()：它返回索引, 数据类型和内存信息。
• s.value_counts(dropna = False)：它查看唯一值和计数。
• df.apply(pd.Series.value_counts)：引用所有列的唯一值和计数。

选拔

• df [col1]：它返回标签为col的列为Series。
• df [[col1, col2]]：它将列作为新的DataFrame返回。
• s.iloc [0]：按位置选择。
• s.loc [‘index_one’]：按索引选择。
• df.iloc [0 , :]：返回第一行。
• df.iloc [0, 0]：返回第一列的第一个元素。

数据清理

• df.columns = [‘a’, ‘b’, ‘c’]：重命名列。
• pd.isnull()：它检查null值并返回布尔数组。
• pd.notnull()：与pd.isnull()相反。
• df.dropna()：删除所有包含空值的行。
• df.dropna(axis = 1)：删除所有包含空值的列。
• df.dropna(axis = 1, thresh = n)：删除所有少于n个非null值的行。
• df.fillna(x)：它将所有空值替换为x。
• s.fillna(s.mean())：将所有空值替换为均值(均值可以用统计模块中的几乎所有函数替换)。
• s.astype(float)：将series的数据类型转换为float。
• s.replace(1, ‘one’)：它将所有等于1的值替换为’one’。
• s.replace([1, 3], [‘one’, ‘3’])：它将所有1替换为’1′, 将3替换为’3’。
• df.rename(columns = lambda x：x + 1)：重命名列的质量。
• df.rename(columns = {‘old_name’：’new_ name’})：它包含选择性重命名。
• df.set_index(‘column_one’)：用于更改索引。
• df.rename(index = lambda x：x + 1)：重命名索引的质量。

筛选, 排序和分组依据

• df [df [col]> 0.5]：返回列col大于0.5的行
• df [(df [col]> 0.5)＆(df [col] <0.7)]：返回其中0.7> col> 0.5的行
• df.sort_values(col1)：它按col1升序对值进行排序。
• df.sort_values(col2, ascending = False)：它按col2的降序对值进行排序。
• df.sort_values([col1, col2], ascending = [True, False])：它将值按col1升序排序, 按col2降序排序。
• df.groupby(col1)：返回来自一列中值的groupby对象。
• df.groupby([col1, col2])：从多个列返回值的groupby对象。
• df.groupby(col1)[col2])：返回col2中值的平均值, 并按col1中的值分组。
• df.pivot_table(index = col1, values = [col2, col3], aggfunc = mean)：创建按col1分组的数据透视表, 并计算col2和col3的平均值。
• df.groupby(col1).agg(np.mean)：它为每个唯一的col1组计算所有列的平均值。
• df.apply(np.mean)：其任务是在每列上应用函数np.mean()。
• nf.apply(np.max, axis = 1)：其任务是在每行上应用函数np.max()。

加入/合并

• df1.append(df2)：其任务是将df1中的行添加到df2的末尾(列应相同)。
• pd.concat([df1, df2], axis = 1)：其任务是将df1中的列添加到df2的末尾(行应相同)。
• df1.join(df2, on = col1, how =’inner’)：SQL样式将df1中的列与df2中的列连接在一起, 其中col的行具有相同的值, ” how”可以为” left”, “对”, “外部”, “内部”。

统计

可以将统计功能应用于”系列”, 如下所示：

• df.describe()：返回数字列的摘要统计信息。
• df.mean()：它返回所有列的均值。
• df.corr()：它返回数据帧中列之间的相关性。
• df.count()：它返回每个数据帧列中所有非空值的计数。
• df.max()：它从每个列中返回最大值。
• df.min()：它返回每个列中的最小值。
• df.median()：它返回每个列的中位数。
• df.std()：返回每列的标准差。