Golang (V2)分布式ID生成系统,高性能、高可用、易扩展的id生成服务

hwholiday · · 879 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

简介

gid 是使用golang开发的生成分布式Id系统,基于数据库号段算法实现

gid V2版本实现了高可用,主从架构,简化了调用逻辑

GRPC 对外服务

性能

  • id 从内存生成,如果(step)步长设置的足够大,qps可达到千万+

可用性

  • id 分配依赖mysql ,当mysql不可用的,如果内存上还有的可以继续分配

特性

  1. 全局唯一的int64型id
  2. 分配ID只访问内存
  3. 可无限横向扩展
  4. 依赖mysql恢复服务迅速
  5. 依赖etcd实现服务的高可用 ......

高可用

  1. server 基于 ETCD Lease 实现了自动抢主,主节点挂了,从节点自动申请为主节点

简化调用逻辑

  go get github.com/hwholiday/gid/v2@gidV2
  
  //go mod 内
  //github.com/hwholiday/gid/v2 v2.0.6
  1. 封住了 client 实现了自动识别服务主节点
  2. 只需要实现 client 并调用 GetId(GRPC方法),无需其他接口,自动创建BizTag,并预加载
package main

import (
    "context"
    "fmt"
    gidSrv "github.com/hwholiday/gid/v2/api"
)

func main() {
    cli, err := InitGrpc([]string{"127.0.0.1:2379"}, 15)
    c, _ := cli.GetGidGrpcClient()
    res, err := c.GetId(context.TODO(), &gidSrv.ReqId{
        BizTag: "111",
    })
    fmt.Println(res, err)
}

安装

  • 初始化 mysql
create database gid;
use gid;
create table segments
(
    biz_tag     varchar(128) not null,
    max_id      bigint       null,
    step        int          null,
    create_time bigint       null,
    update_time bigint       null,
    constraint segments_pk
        primary key (biz_tag)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4
  COLLATE = utf8mb4_bin;

  • 编译运行项目
    go get github.com/hwholiday/gid/v2@gidV2  OR  git clone -b gidV2 https://github.com/hwholiday/gid.git 
    cd gid/cmd
    go build -o gid
   ./gid -conf ./gid.toml

压测

BenchmarkService_GetId-4         2046296               583 ns/op 

重点SQL

Begin
UPDATE table SET max_id=max_id+step WHERE biz_tag=xxx
SELECT tag, max_id, step FROM table WHERE biz_tag=xxx
Commit

完整代码示例

文献

美团点评分布式ID生成系统


有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

879 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传