近期计划开发一个小说阅读APP,本意是学习golang开发,以及爬虫设计。
一般规范些的站点,会采用utf-8编码开发运行在浏览器上。然而,在我抓取的某些网站,却是采用的GBK编码,因此,在解析dom后,获取中文内容的时候,总是会出现一些编码问题,导致我并不能确认,解析到的内容,是不是就是我想要的,我期望的。
为了解决这个问题,我面向百度,面向goole编程,最终找到了一个可靠的解决办法,即goole的text库(golang.org/x/text),并把对应的方法做了简单的封装。
// transform GBK bytes to UTF-8 bytes
func GbkToUtf8(str []byte) (b []byte, err error) {
r := transform.NewReader(bytes.NewReader(str), simplifiedchinese.GBK.NewDecoder())
b, err = ioutil.ReadAll(r)
if err != nil {
return
}
return
}
// transform UTF-8 bytes to GBK bytes
func Utf8ToGbk(str []byte) (b []byte, err error) {
r := transform.NewReader(bytes.NewReader(str), simplifiedchinese.GBK.NewEncoder())
b, err = ioutil.ReadAll(r)
if err != nil {
return
}
return
}
为了更方便的得到转换后的字符串,继续对以上两个方法封装。
// transform GBK string to UTF-8 string and replace it, if transformed success, returned nil error, or died by error message
func StrToUtf8(str *string) error {
b, err := GbkToUtf8([]byte(*str))
if err != nil {
return err
}
*str = string(b)
return nil
}
// transform UTF-8 string to GBK string and replace it, if transformed success, returned nil error, or died by error message
func StrToGBK(str *string) error {
b, err := Utf8ToGbk([]byte(*str))
if err != nil {
return err
}
*str = string(b)
return nil
}
有疑问加站长微信联系(非本文作者)