项目架构设计
LogAgent的工作流程：
- 读日志 --
tailf第三方库
func main() {
fileName := "./my.log"
config := tail.Config{
ReOpen: true, // 重新打开
Follow: true, // 是否跟随
Location: &tail.SeekInfo{Offset: 0, Whence: 2}, // 从文件的哪个地方开始读
MustExist: false, // 文件不存在不报错
Poll: true,
}
tails, err := tail.TailFile(fileName, config)
if err != nil {
fmt.Println("tail file failed, err:", err)
return
}
var (
line *tail.Line
ok bool
)
for {
line, ok = <-tails.Lines
if !ok {
fmt.Printf("tail file close reopen, filename:%s\n", tails.Filename)
time.Sleep(time.Second)
continue
}
fmt.Println("line:", line.Text)
}}
2.往kafka写日志 --sarama第三方库
sarama v1.20之后的版本加⼊了 zstd 压缩算法，需要⽤到cgo，在Windows平台编译时会提示类似如
下错误：
# github.com/DataDog/zstd
exec: "gcc":executable file not found in %PATH%
所以在Windows平台请使⽤v1.19版本的sarama。
// 基于sarama第三⽅库开发的kafka client
func main() {
config := sarama.NewConfig()
// tailf包使⽤
config.Producer.RequiredAcks = sarama.WaitForAll // 发送完数据需要leader和follow都确认
config.Producer.Partitioner = sarama.NewRandomPartitioner // 新选出⼀个 partition
config.Producer.Return.Successes = true // 成功交付的消息将在success channel返回
// 构造⼀个消息
msg := &sarama.ProducerMessage{}
msg.Topic = "web_log"
msg.Value = sarama.StringEncoder("this is a test log")
// 连接kafka
client, err := sarama.NewSyncProducer([]string{"127.0.0.1:9092"}, config)
if err != nil {
fmt.Println("producer closed, err:", err)
return
}
fmt.Println("连接kafka成功！")
defer client.Close()
// 发送消息
pid, offset, err := client.SendMessage(msg)
fmt.Println("xxx")
if err != nil {
fmt.Println("send msg failed, err:", err)
return
}
fmt.Printf("pid:%v offset:%v\n", pid, offset)
fmt.Println("发送成功！")}
kafka和zookeeper
tail介绍
gopkg.in/ini.v1 第三方文档
https://ini.unknwon.io/docs/a...
https://pkg.go.dev/gopkg.in/i...
实例代码
LogAgent的工作流程
有疑问加站长微信联系（非本文作者）
