Go语言 简单的爬虫示例(2)——编码转换

abv123456789 · · 7052 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

Go 语言官方没有提供处理 utf8、unicode 之外字符编码的包。这样转换就需要用第三方包,候选包:

https://github.com/xushiwei/go-iconv

https://github.com/djimenez/iconv-go

https://github.com/sloonz/go-iconv

例子:

下面源网页是国家地震局的一周内地震统计,编码是gb2312,这里需要把它编码成 utf-8 格式。

http://wendal.net/2013/0115.html

package main
 
import(
    iconv "github.com/djimenez/iconv-go"
    "io/ioutil"
    "log"
    "net/http"
)
 
func main(){
    log.SetFlags(log.LstdFlags|log.Lshortfile)
    resp,err:=http.Get("http://data.earthquake.cn/datashare/globeEarthquake_csn.html")
    if err!=nil{
        log.Fatal(err)
    }
 
    defer resp.Body.Close()
    input,err:=ioutil.ReadAll(resp.Body)
    out:=make([]byte,len(input))
    out=out[:]
    iconv.Convert(input,out,"gb2312","utf-8")
    ioutil.WriteFile("globeEarthquake_csn.html",out,0644)
}

 

参考资料:

Golang下进行字符集转换
http://wendal.net/2013/0115.html


有疑问加站长微信联系(非本文作者)

本文来自:CSDN博客

感谢作者:abv123456789

查看原文:Go语言 简单的爬虫示例(2)——编码转换

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

7052 次点击  ∙  1 赞  
加入收藏 微博
5 回复  |  直到 2000-01-01 00:00:00
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传