纯净、安全、绿色的下载网站

首页|软件分类|下载排行|最新软件|IT学院

当前位置:首页IT学院IT技术

pandas数据合并与拼接 pandas数据的合并与拼接的实现

石头   2021-12-07 我要评论
想了解pandas数据的合并与拼接的实现的相关内容吗石头在本文为您仔细讲解pandas数据合并与拼接的相关知识和一些Code实例欢迎阅读和指正我们先划重点:pandas数据合并,pandas数据拼接下面大家一起来学习吧

Pandas包的merge、join、concat方法可以完成数据的合并和拼接merge方法主要基于两个dataframe的共同列进行合并join方法主要基于两个dataframe的索引进行合并concat方法是对series或dataframe进行行拼接或列拼接

1. Merge方法

pandas的merge方法是基于共同列将两个dataframe连接起来merge方法的主要参数:

  • left/right:左/右位置的dataframe
  • how:数据合并的方式left:基于左dataframe列的数据合并;right:基于右dataframe列的数据合并;outer:基于列的数据外合并(取并集);inner:基于列的数据内合并(取交集);默认为'inner'
  • on:用来合并的列名这个参数需要保证两个dataframe有相同的列名
  • left_on/right_on:左/右dataframe合并的列名也可为索引数组和列表
  • left_index/right_index:是否以index作为数据合并的列名True表示是
  • sort:根据dataframe合并的keys排序默认是
  • suffixes:若有相同列且该列没有作为合并的列可通过suffixes设置该列的后缀名一般为元组和列表类型

merges通过设置how参数选择两个dataframe的连接方式有内连接外连接左连接右连接下面通过例子介绍连接的含义

1.1 内连接

  how='inner'dataframe的链接方式为内连接我们可以理解基于共同列的交集进行连接参数on设置连接的共有列名

# 单列的内连接
# 定义df1
import pandas as pd
import numpy as np

df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],'feature1':[1,1,2,3,3,1],
            'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],'pazham':['apple','orange','pine','pear'],
            'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})
# print(df1)
# print(df2)
# 基于共同列alpha的内连接
df3 = pd.merge(df1,df2,how='inner',on='alpha')
df3

  取共同列alpha值的交集进行连接

1.2 外连接

  how='outer'dataframe的链接方式为外连接我们可以理解基于共同列的并集进行连接参数on设置连接的共有列名

# 单列的外连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],'feature1':[1,1,2,3,3,1],
                'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],'pazham':['apple','orange','pine','pear'],
                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})
# 基于共同列alpha的内连接
df4 = pd.merge(df1,df2,how='outer',on='alpha')
df4

  若两个dataframe间除了on设置的连接列外并无相同列则该列的值置为NaN

1.3 左连接

  how='left'dataframe的链接方式为左连接我们可以理解基于左边位置dataframe的列进行连接参数on设置连接的共有列名  

# 单列的左连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],'feature1':[1,1,2,3,3,1],
    'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],'pazham':['apple','orange','pine','pear'],
                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})
# 基于共同列alpha的左连接
df5 = pd.merge(df1,df2,how='left',on='alpha')
df5

  因为df2的连接列alpha有两个'A'值所以左连接的df5有两个'A'值若两个dataframe间除了on设置的连接列外并无相同列则该列的值置为NaN

1.4 右连接

  how='right'dataframe的链接方式为左连接我们可以理解基于右边位置dataframe的列进行连接参数on设置连接的共有列名

# 单列的右连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],'feature1':[1,1,2,3,3,1],
'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],'pazham':['apple','orange','pine','pear'],
                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})
# 基于共同列alpha的右连接
df6 = pd.merge(df1,df2,how='right',on='alpha')
df6

  因为df1的连接列alpha有两个'B'值所以右连接的df6有两个'B'值若两个dataframe间除了on设置的连接列外并无相同列则该列的值置为NaN

1.5 基于多列的连接算法

  多列连接的算法与单列连接一致本节只介绍基于多列的内连接和右连接读者可自己编码并按照本文给出的图解方式去理解外连接和左连接

多列的内连接:

# 多列的内连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],'beta':['a','a','b','c','c','e'],
                    'feature1':[1,1,2,3,3,1],'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],'beta':['d','d','b','f'],'pazham':['apple','orange','pine','pear'],
                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})
# 基于共同列alpha和beta的内连接
df7 = pd.merge(df1,df2,on=['alpha','beta'],how='inner')
df7

多列的右连接:

# 多列的右连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],'beta':['a','a','b','c','c','e'],
                    'feature1':[1,1,2,3,3,1],'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],'beta':['d','d','b','f'],'pazham':['apple','orange','pine','pear'],
                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})
print(df1)
print(df2)

# 基于共同列alpha和beta的右连接
df8 = pd.merge(df1,df2,on=['alpha','beta'],how='right')
df8

1.6 基于index的连接方法

前面介绍了基于column的连接方法merge方法亦可基于index连接dataframe

# 基于column和index的右连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],'beta':['a','a','b','c','c','e'],
                    'feature1':[1,1,2,3,3,1],'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],'pazham':['apple','orange','pine','pear'],
                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])},index=['d','d','b','f'])
print(df1)
print(df2)

# 基于df1的beta列和df2的index连接
df9 = pd.merge(df1,df2,how='inner',left_on='beta',right_index=True)
df9

图解index和column的内连接方法:

设置参数suffixes以修改除连接列外相同列的后缀名

# 基于df1的alpha列和df2的index内连接
df9 = pd.merge(df1,df2,how='inner',left_on='beta',right_index=True,suffixes=('_df1','_df2'))
df9

2. join方法

  join方法是基于index连接dataframemerge方法是基于column连接连接方法有内连接外连接左连接和右连接与merge一致

index与index的连接:

caller = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'], 'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']})
other = pd.DataFrame({'key': ['K0', 'K1', 'K2'],'B': ['B0', 'B1', 'B2']})
print(caller)print(other)# lsuffix和rsuffix设置连接的后缀名
caller.join(other,lsuffix='_caller', rsuffix='_other',how='inner')

join也可以基于列进行连接:

caller = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'], 'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']})
other = pd.DataFrame({'key': ['K0', 'K1', 'K2'],'B': ['B0', 'B1', 'B2']})
print(caller)
print(other)

# 基于key列进行连接
caller.set_index('key').join(other.set_index('key'),how='inner')

因此join和merge的连接方法类似这里就不展开join方法了建议用merge方法

3. concat方法

  concat方法是拼接函数有行拼接和列拼接默认是行拼接拼接方法默认是外拼接(并集)拼接的对象是pandas数据类型

3.1 series类型的拼接方法

行拼接:

df1 = pd.Series([1.1,2.2,3.3],index=['i1','i2','i3'])
df2 = pd.Series([4.4,5.5,6.6],index=['i2','i3','i4'])
print(df1)
print(df2)

# 行拼接
pd.concat([df1,df2])

行拼接若有相同的索引为了区分索引我们在最外层定义了索引的分组情况

# 对行拼接分组
pd.concat([df1,df2],keys=['fea1','fea2'])

列拼接:

默认以并集的方式拼接:

# 列拼接,默认是并集
pd.concat([df1,df2],axis=1)

以交集的方式拼接:

# 列拼接的内连接(交)
pd.concat([df1,df2],axis=1,join='inner')

设置列拼接的列名:

# 列拼接的内连接(交)
pd.concat([df1,df2],axis=1,join='inner',keys=['fea1','fea2'])

对指定的索引拼接:

# 指定索引[i1,i2,i3]的列拼接
pd.concat([df1,df2],axis=1,join_axes=[['i1','i2','i3']])

3.2 dataframe类型的拼接方法

行拼接:

df1 = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'], 'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']})
df2 = pd.DataFrame({'key': ['K0', 'K1', 'K2'],'B': ['B0', 'B1', 'B2']})
print(df1)
print(df2)

# 行拼接
pd.concat([df1,df2])

列拼接:

# 列拼接
pd.concat([df1,df2],axis=1)

若列拼接或行拼接有重复的列名和行名则报错:

# 判断是否有重复的列名若有则报错
pd.concat([df1,df2],axis=1,verify_integrity = True)

ValueError: Indexes have overlapping values: ['key']

4. 小结

merge和join方法基本上能实现相同的功能建议用merge


相关文章

猜您喜欢

  • C# VB.NET Word嵌入多媒体文件 C# VB.NET 实现在Word中嵌入多媒体(视频、音频)文件

    想了解C# VB.NET 实现在Word中嵌入多媒体(视频、音频)文件的相关内容吗E-iceblue在本文为您仔细讲解C# VB.NET Word嵌入多媒体文件的相关知识和一些Code实例欢迎阅读和指正我们先划重点:C# Word嵌入多媒体文件,VB.NET  Word嵌入多媒体文件,C# VB.NET Word嵌入多媒体文件下面大家一起来学习吧..
  • Python函数和模块 Python编程基础之函数和模块

    想了解Python编程基础之函数和模块的相关内容吗howard2005在本文为您仔细讲解Python函数和模块的相关知识和一些Code实例欢迎阅读和指正我们先划重点:Python函数,Python模块下面大家一起来学习吧..

网友评论

Copyright 2020 www.eleasoftware.com 【绿软下载站】 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 点此查看联系方式