【Go语言实战】字符编码GBK、UTF8转换

故不忧_y · · 4058 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

近期计划开发一个小说阅读APP,本意是学习golang开发,以及爬虫设计。

一般规范些的站点,会采用utf-8编码开发运行在浏览器上。然而,在我抓取的某些网站,却是采用的GBK编码,因此,在解析dom后,获取中文内容的时候,总是会出现一些编码问题,导致我并不能确认,解析到的内容,是不是就是我想要的,我期望的。

为了解决这个问题,我面向百度,面向goole编程,最终找到了一个可靠的解决办法,即goole的text库(golang.org/x/text),并把对应的方法做了简单的封装。

// transform GBK bytes to UTF-8 bytes
func GbkToUtf8(str []byte) (b []byte, err error) {
    r := transform.NewReader(bytes.NewReader(str), simplifiedchinese.GBK.NewDecoder())
    b, err = ioutil.ReadAll(r)
    if err != nil {
        return
    }
    return
}

// transform UTF-8 bytes to GBK bytes
func Utf8ToGbk(str []byte) (b []byte, err error) {
    r := transform.NewReader(bytes.NewReader(str), simplifiedchinese.GBK.NewEncoder())
    b, err = ioutil.ReadAll(r)
    if err != nil {
        return
    }
    return
}

为了更方便的得到转换后的字符串,继续对以上两个方法封装。

// transform GBK string to UTF-8 string and replace it, if transformed success, returned nil error, or died by error message
func StrToUtf8(str *string) error {
    b, err := GbkToUtf8([]byte(*str))
    if err != nil {
        return err
    }
    *str = string(b)
    return  nil
}

// transform UTF-8 string to GBK string and replace it, if transformed success, returned nil error, or died by error message
func StrToGBK(str *string) error {
    b, err := Utf8ToGbk([]byte(*str))
    if err != nil {
        return err
    }
    *str = string(b)
    return  nil
}

有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:故不忧_y

查看原文:【Go语言实战】字符编码GBK、UTF8转换

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

4058 次点击  
加入收藏 微博
被以下专栏收入,发现更多相似内容
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传