python学习：HTML转换成doc

网页上的一些文章，因为有格式的原因，它们在网页上的源码都是带有html标签的，用css来进行描述。本文利用HTML Parser和docx两个模块，对网页进行解析并存储到word文档中。转换出来的格式相对还是有些粗糙，不喜勿喷。话不多说，直接上代码。

class HTMLClient:
    #获取html网页源码
    def GetPage(self, url):
        #user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
        user_agent = 'Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/34.0.1847.116 Chrome/34.0.1847.116 Safari/537.36'
        headers = { 'User-Agent' : user_agent }
        req = urllib.request.Request(url, None, headers)
        try:
            res = urllib.request.urlopen(req)
            return res.read().decode("utf-8")
        except urllib.error.HTTPError as e:
            return None
    #获取网络图片并保存在程序运行目录下
    def GetPic(self, url):
        user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
        headers = { 'User-Agent' : user_agent }
        req = urllib.request.Request(url, None, headers)
        try:
            res = urllib.request.urlopen(req)
            return res.read()
        except urllib.error.HTTPError as e:
            return None

html到doc的转换过程中，图片保存和处理是比较麻烦的事情，因为可能涉及到图片格式错误，因此为了保证图片正常运行，应当修改图片添加异常处理流程。

class MYHTMLParser(HTMLParser):
    def __init__(self, docfile):
        HTMLParser.__init__(self)
        self.docfile = docfile
        self.doc = Document(docfile)
        self.myclient = HTMLClient()
        self.text = ''
        self.title = False
        self.isdescription = False
        self.picList=[]
    #根据标签头类型决定标签内容的格式
    def handle_starttag(self, tag, attrs):
        #print "Encountered the beginning of a %s tag" % tag
        self.title = False
        self.isdescription = False
        #<h1>标签说明其中的内容是标题
        if re.match(r'h(\d)', tag):
            self.title = True 
        #图片的处理比较复杂，首先需要找到对应的图片的url，然后下载并写入doc中
        #下载的图片格式如果有问题，docx模块会报错，因此重新定义异常处理
        #图片名称需要记录下来，在文档保存后要自动删除
        if tag == "img":
            if len(attrs) == 0: pass
            else:
                for (variable, value)  in attrs:
                    if variable == "src":
                        #此处图片url类型为[http://url/pic.img!200*200]
                        #不同网站图片类型不同，因此当作不同处理
                        picdata = self.myclient.GetPic(value.split('!')[0])
                        if picdata == None:
                            pass
                        else:
                            pictmp = value.split('/')[-1].split('!')[0]
                            picfix = value.split('/')[-1].split('!')[-1]
                            with open(pictmp, 'wb') as pic:
                                pic.write(bytes(picdata))
                                pic.close()
                            try:
                                if picfix[0:1] == 'c':
                                    self.doc.add_picture(pictmp, width=Inches(4.5))
                                else:
                                    self.doc.add_picture(pictmp)#, width=Inches(2.25))
                            except docx.image.exceptions.UnexpectedEndOfFileError as e:
                                print(e)
                            self.picList.append(pictmp)
        #javascript脚本
        if tag == 'script':
            self.isdescription = True
    def handle_data(self, data):
        if self.title == True:
            if self.text != '':
                self.doc.add_paragraph(self.text)
            self.text = ''
            self.doc.add_heading(data, level=2)
        if self.isdescription == False:
            self.text += data
    def handle_endtag(self, tag):
        #if tag == 'br' or tag == 'p' or tag == 'div':
        if self.text != '':
            self.doc.add_paragraph(self.text)
            self.text = ''
    def complete(self, html):
        self.feed(html)
        self.doc.save(self.docfile)
        for item in self.picList:
            if os.path.exists(item):
                os.remove(item)