用python+openpyxl处理excel2007文档思路以及心得
寻觅工具
确定任务之后第一步就是找个趁手的库来干活。PythonExcel上列出了xlrd、xlwt、xlutils这几个包,但是
它们都比较老,xlwt甚至不支持07版以后的excel
它们的文档不太友好,都可能需要去读源代码,而老姐的任务比较紧,加上我当时在期末,没有这个时间细读源代码
再一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~
安装
这个很容易,直接pipinstallopenpyxl,呵呵呵~
因为我不需要处理图片,就没有装pillow。
一些考虑
源文件大约一个在1~2MB左右,比较小,所以可以直接读入内存处理。
既然是处理excel,何况他们整个组显然都是win下干活(数据都用excel存了==,商科的人啊……),这个脚本还是在win下做吧
这个任务完全不需要我对现有的文件做修改!?濉??抑灰?寥搿⒋?怼⒃傩闯隽硪桓鑫募?托辛?/p>
学习使用
嗯,就是打开cmd,然后用python的shell各种玩这个模块来上手……(win下没有装ipython,?澹?/p>
做这个小脚本基本上我只需要import两个东西
fromopenpyxlimportWorkbook fromopenpyxlimportload_workbook
load_workbook顾名思义是把文件导入到内存,Workbook是最基本的一个类,用来在内存里创建文件最后写进磁盘的。
干活
首先我需要导入这个文件
inwb=load_workbook(filename)
得到的就是一个workbook对象
然后我需要创建一个新的文件
outwb=Workbook()
接着在这个新文件里,用create_sheet新建几个工作表,比如
careerSheet=outwb.create_sheet(0,"career")
就会从头部插入一个叫career的工作表(也就是说用法类似pythonlist的insert)
接下来我需要遍历输入文件的每个工作表,并且按照表名做一些工作(e.g.如果表名不是数字,我不需要处理),openpyxl支持用字典一样的方式通过表名获取工作表,获取一个工作簿的表名的方法是get_sheet_names
forsheetNameininwb.get_sheet_names(): ifnotsheetName.isdigit(): continue sheet=inwb[sheetName]
得到工作表之后,就是按列和行处理了。openpyxl会根据工作表里实际有数据的区域来确定行数和列数,获取行和列的方法是sheet.rows和sheet.columns,它们都可以像list一样用。比如,如果我想跳过数据少于2列的表,可以写
iflen(sheet.columns)<2: continue
如果我想获取这个工作表的前两列,可以写
colA,colB=sheet.columns[:2]
除了用columns和rows来得到这个工作表的行列之外,还可以用excel的单元格编码来获取一个区域,比如
cells=sheet["A1":"B20"]
有点像excel自己的函数,可以拉出一块二维的区域~
为了方便处理,遇到一个没有C列的工作表,我要创建一个和A列等长的空的C列出来,那么我可以用sheet.cell这个方法,通过传入单元格编号和添加空值来创建新列。
alen=len(colA) foriinrange(1,alen+1): sheet.cell("C%s"%(i)).value=None
注意:excel的单元格命名是从1开始的~
上面的代码也显示出来了,获取单元格的值是用cell.value(可以是左值也可以是右值),它的类型可以是字符串、浮点数、整数、或者时间(datetime.datetime),excel文件里也会生成对应类型的数据。
得到每个单元格的值之后,就可以进行操作了~openpyxl会自动将字符串用unicode编码,所以字符串都是unicode类型的。
除了逐个逐个单元格用cell.value修改值以外,还可以一行行append到工作表里
sheet.append(strA,dateB,numC)
最后,等新的文件写好,直接用workbook.save保存就行
outwb.save("test.xlsx")
这个会覆盖当前已有的文件,甚至你之前读取到内存的那个文件。
一些要注意的地方
如果要在遍历一列的每个单元格的时候获取当前单元格的在这个column对象里的下标
foridx,cellinenumerate(colA): #dosomething...
为了防止获取的数据两端有看不见的空格(excel文件里很常见的坑),记得strip()
如果工作表里的单元格没有数据,openpyxl会让它的值为None,所以如果要基于单元格的值做处理,不能预先假定它的类型,最好用
ifnotcell.value continue
之类的语句来先行判断
如果要处理的excel文件里有很多noise,比如当你预期一个单元格是时间的时候,有些表的数据可能是字符串,这时候可以用
ifisinstance(cell.value,unicode): break
之类的语句处理。
win下的cmd似乎不太好设定用utf-8的codepage,如果是简体中文的话可以用936(GBK),print的时候会自动从unicode转换到GBK输出到终端。
一些帮忙处理中文问题的小函数
我处理的表有一些超出GBK范围的字符,当我需要把一些信息print出来监控处理进度的时候非常麻烦,好在它们都是可以无视的,我直接用空格替换再print也行,所以加上一些我本来就要替换掉的分隔符,我可以:
#annoyingseperators dot=u"\u00b7" dash=u"\u2014" emph=u"\u2022" dot2=u"\u2027" seps=(u".",dot,dash,emph,dot2) defget_clean_ch_string(chstring): """RemoveannoyingseperatorsfromtheChinesestring. Usage: cleanstring=get_clean_ch_string(chstring) """ cleanstring=chstring forsepinseps: cleanstring=cleanstring.replace(sep,u"") returncleanstring
此外我还有一个需求,是把英文名[空格]中文名分成英文姓、英文名、中文姓、中文名。
首先我需要能把英文和中文分割开,我的办法是用正则匹配,按照常见中英文字符在unicode的范围来套。匹配英文和中文的正则pattern如下:
#regexpatternmatchingallasciicharacters asciiPattern=ur"[%s]+"%"".join(chr(i)foriinrange(32,127)) #regexpatternmatchingallcommonChinesecharactersandseporators chinesePattern=ur"[\u4e00-\u9fff.%s]+"%("".join(seps))
英文就用ASCII可打印字符的范围替代,常见中文字符的范围是\u4e00-\u9fff,那个seps是前面提到过的超出GBK范围的一些字符。除了简单的分割,我还需要处理只有中文名没有英文名、只有英文名没有中文名等情况,判断逻辑如下:
defsplit_name(name): """Split[Englishname,Chinesename]. Ifoneofthemismissing,Nonewillbereturnedinstead. Usage: engName,chName=split_name(name) """ matches=re.match("(%s)(%s)"%(asciiPattern,chinesePattern),name) ifmatches:#Englishname+Chinesename returnmatches.group(1).strip(),matches.group(2).strip() else: matches=re.findall("(%s)"%(chinesePattern),name) matches="".join(matches).strip() ifmatches:#Chinesenameonly returnNone,matches else:#Englishnameonly matches=re.findall("(%s)"%(asciiPattern),name) return"".join(matches).strip(),None
得到了中文名之后,我需要分割成姓和名,因为任务要求不需要把姓名分割得很明确,我就按照常见的中文名姓名分割方式来分——两个字or三个字的第一个字是姓,四个字的前两个字是姓,名字带分隔符的(少数民族名字)分隔符前是姓(这里用到了前面的get_clean_ch_string函数来移除分隔符),名字再长一些又不带分割符的,假设整个字符串都是名字。(注意英语的firstname指的是名,lastname指的是姓,2333)
defsplit_ch_name(chName): """SplittheChinesenameintofirstnameandlastname. *IfthenameisXYorXYZ,Xwillbereturnedasthelastname. *IfthenameisWXYZ,WXwillbereturnedasthelastname. *Ifthenameis...WXYZ,thewholenamewillbereturned asthelastname. *Ifthenameis..ABC*XYZ...,thepartbeforetheseperator willbereturnedasthelastname. Usage: chFirstName,chLastName=split_ch_name(chName) """ iflen(chName)<4:#XYorXYZ chLastName=chName[0] chFirstName=chName[1:] eliflen(chName)==4:#WXYZ chLastName=chName[:2] chFirstName=chName[2:] else:#longer cleanName=get_clean_ch_string(chName) nameParts=cleanName.split() printu"".join(nameParts) iflen(nameParts)<2:#...WXYZ returnNone,nameParts[0] chLastName,chFirstName=nameParts[:2]#..ABC*XYZ... returnchFirstName,chLastName
分割英文名就很简单了,空格分开,第一部分是名,第二部分是姓,其他情况暂时不管就行。
相关文章
- pycharm输入框不跟随光标_python光标变粗了
- python win32api messagebox_如何在Python中使用Win32 API?
- aic准则python_Python数据科学:线性回归
- python中pygame怎么安_Python中pygame安装方法图文详解
- python编程是啥-Python编程「建议收藏」
- python识别文字位置_如何利用Python识别图片中的文字
- Python语音信号处理
- Python入门系列(五)一篇搞懂python语句
- python海龟作图红绿灯_海龟作图—用Python绘图
- Python实现 “王者农药” 自动刷金币,这思路 “绝了”!
- 【说站】python数据拼接如何实现
- python中copy.deepcopy_Python eval
- Python win32api_python api文档
- 数据导入与预处理-第4章-数据获取python读取pdf文档
- python爬虫入门_在百度搜索手机归属地
- 解决python中的UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘u26ab‘问题
- 【ChatGPT】如何使用python调用ChatGPT API?
- Python基础(十四):公共操作的讲解
- Python 函数文档字符串可以动态更新
- 教你利用Python绘制酷炫的词云图。
- python高级线程编程-线程安全的数据结构(一)
- python-Python与SQLite数据库-处理SQLite查询结果(一)
- Python开发系列课程(8) – 字符串和常用数据结构详解编程语言
- Linux下安装Python的指南(linux下安装python)
- Python结合MySQL的无缝搭配(pypymysql)
- Python实现Oracle数据库连接(python连接oracle数据库)
- Linux下从系统卸载Python(linux下卸载python)
- Python中使用动态变量名的方法
- python基础教程之面向对象的一些概念