python文件拆分与合并的方法

1、统计回归所需处理的数据量可能非常大，必要时需对文件进行拆分或合并。

2、可以用 pandas2、将 Excel 文件分割为多个文件或合并。

将 Excel 文件分割为多个文件

#将Excel文件分割为多个文件
importpandasaspd
dfData=pd.read_excel('./example.xls',sheetname='Sheet1')
nRow,nCol=dfData.shape#获取数据的行列
#假设数据共有198,000行，分割为20个文件，每个文件10,000行
foriinrange(0,int(nRow/10000)+1):
saveData=dfData.iloc[i*10000+1:(i+1)*10000+1,:]#每隔10,000
fileName='./example_{}.xls'.format(str(i))
saveData.to_excel(fileName,sheet_name='Sheet1',index=False)

将多个Excel文件合并为一个文件

#将多个Excel文件合并为一个文件
importpandasaspd

##两个Excel文件合并
#data1=pd.read_excel('./example0.xls',sheetname='Sheet1')
#data2=pd.read_excel('./example1.xls',sheetname='Sheet1')
#data=pd.concat([data1,data2])
#多个Excel文件合并
dfData=pd.read_excel('./example0.xls',sheetname='Sheet1')
foriinrange(1,20):
fileName='./example_{}.xls'.format(str(i))
dfNew=pd.read_excel(fileName)
dfData=pd.concat([dfData,dfNew])
dfData.to_excel('./example',index=False)

以上就是python文件拆分与合并的方法，希望对大家有所帮助。更多Python学习指路：Python基础教程