发布于 2014-08-15 16:19:06 | 166 次阅读 | 评论: 0 | 来源: 网友投递
Python编程语言
Python 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。
本文是一个采集的示例代码，采集的是一个成语站，使用正式表达式匹配内容，感兴趣的同学参考下。
做NLPproject时需要一个成语库，我需要的是纯成语，网上找的都是有详细解释的。于是自己写了一个爬成语的python程序
1、首先找到一个在线成语网站
2、查看网页结构，定义正则式
看一下要抓的成语的标签有什么特点，查看源码，可以发现要抓的成语都在<a>标签中，如:<a href="/cy0/93.html">安如磐石</a>，成语事实上就是一个瞄文本，不同成语指向的链接不同，其实也就"/cy0/93.html"中的数字不同，所以正则式里匹配两次数字就行了，定义正则式 reg = "<a href="/cy(d+)/(d+).html">(.*?)</a>"。
3、上代码吧
def getHtml(url): #从URL中读取html内容
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
def getDictionary(html): #匹配成语
reg = "<a href="/cy(d+)/(d+).html">(.*?)</a>"
dicList = re.compile(reg).findall(html)
return dicList
def getItemSite():#手工把每个字母开头的页面数统计下来
itemSite = {}#申明为空字典
itemSite["A"] = 3
itemSite["B"] = 21
itemSite["C"] = 19
itemSite["D"] = 18
itemSite["E"] = 2
itemSite["F"] = 14
itemSite["G"] = 13
itemSite["H"] = 15
itemSite["J"] = 23
itemSite["K"] = 6
itemSite["L"] = 15
itemSite["M"] = 12
itemSite["N"] = 5
itemSite["O"] = 1
itemSite["P"] = 6
itemSite["Q"] = 16
itemSite["R"] = 8
itemSite["S"] = 26
itemSite["T"] = 12
itemSite["W"] = 13
itemSite["X"] = 16
itemSite["Y"] = 35
itemSite["A"] = 21
return itemSite
if __name__== "__main__":
dicFile = open("dic.txt","w+")#保存成语的文件
domainsite = "http://chengyu.itlearner.com/list/"
itemSite = getItemSite()
for key,values in itemSite.items():
for index in range(1,values+1):
site = key +"_"+str(index)+".html"
dictionary = getDictionary(getHtml(domainsite+site))
for dic in dictionary:
dicFile.write(dic[2]+"@@CYn")#标记为成语，分词时使用
print key+'字母成语抓取完毕'
dicFile.close()
print '全部成语抓取完毕'
把成语保存在了txt文本中，还添加了一个后缀标签。
最后注意，设计正则表达式时可能会出现明明认为是正确的，就是匹配不了，对空白字符要留意，比如说要解析：
<a href="/u/kkun/" title="kkun">kkun</a>
</div>
你看不出第一行与第二行的空白字符是什么，可以index = html.find('avatar_name')，html[4677:4677+100]看到非空白字符。