gRPC基于Golang和Java的简单实现

贾顺 · · 1629 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

原文连接: 一文了解RPC以及gRPC基于Golang和Java的简单实现

一:什么是RPC

  • 简介:RPC:Remote Procedure Call,远程过程调用。简单来说就是两个进程之间的数据交互。正常服务端的接口服务是提供给用户端(在Web开发中就是浏览器)或者自身调用的,也就是本地过程调用。和本地过程调用相对的就是:假如两个服务端不在一个进程内怎么进行数据交互?使用RPC。尤其是现在微服务的大量实践,服务与服务之间的调用不可避免,RPC更显得尤为重要。

  • 原理:计算机的世界中不管使用哪种技术,核心都是对数据的操作。RPC不过是将数据的操作垮了一个维度而已。解决的问题本质上只是数据在不同进程间的传输。说的再多一些,就要了解网络模型的知识,七层也好,四层五层也罢。这个不是本文的重点。我们所说的RPC一般是指在传输层使用TCP协议进行的数据交互,也有很多基于HTTP的成熟框架。

    盗用网络上一张图片说明:

    gRPC流程

    上图描述了一个RPC的完整调用流程:

    1:client向client stub发起方法调用请求。

    2:client stub接收到请求后,将方法名,请求参数等信息进行编码序列化。

    3:client stub通过配置的ip和端口使用socket通过网络向远程服务器server发起请求。

    4:远程服务器server接收到请求,解码反序列化请求信息。

    5:server将请求信息交给server stub,server stub找到对应的本地真实方法实现。

    6:本地方法处理调用请求并将返回的数据交给server stub。

    7:server stub 将数据编码序列化交给操作系统内核,使用socket将数据返回。

    8:client端socket接收到远程服务器的返回信息。

    9:client stub将信息进行解码反序列化。

    10:client收到远程服务器返回的信息。

    上图中有一个stub(存根)的概念。stub负责接收本地方法调用,并将它们委托给各自的具体实现对象。server端stub又被称为skeleton(骨架)。可以理解为代理类。而实际上基于Java的RPC框架stub基本上也都是使用动态代理。我们所说的client端和server端在RPC中一般也都是相对的概念。

    而所谓的RPC框架也就是封装了上述流程中2-9的过程,让开发者调用远程方法就像调用本地方法一样。


二:常用RPC框架选型

  • Duboo:

    阿里开源的基于TCP的RPC框架,基本上是国内生产环境应用最广的开发框架了。使用zookeeper做服务的注册与发现,使用Netty做网络通信。遗憾的是不能跨语言,目前只支持Java。

  • Thrift:

    Facebook开源的跨语言的RPC框架,通过IDL来定义RPC的接口和数据类型,使用thrift编译器生成不同语言的实现。据说是目前性能最好的RPC框架,只是暂没使用过。

  • gRPC:

    这个是我们今天要聊的重点。gRPC是Google的开源产品,是跨语言的通用型RPC框架,使用Go语言编写。 Java语言的应用同样使用了Netty做网络通信,Go采用了Goroutine做网络通信。序列化方式采用了Google自己开源的Protobuf。请求的调用和返回使用HTTP2的Stream。

  • SpringCloud:

    SpringCloud并不能算一个RPC框架,它是Spring家族中一个微服务治理的解决方案,是一系列框架的集合。但在这个方案中,微服务之间的通信使用基于HTTP的Restful API,使用Eureka或Consul做服务注册与发现,使用声明式客户端Feign做服务的远程调用。这一系列的功能整合起来构成了一套完整的远程服务调用。

如何选择:

如果公司项目使用Java并不牵扯到跨语言,且规模并没有大到难以治理,我推荐Dubbo。如果项目规模大,服务调用错综复杂,我推荐SpringCloud。

如果牵扯到跨语言,我推荐gRPC,这也是目前我司的选择。即使Thrift性能是gRPC的2倍,但没办法,它有个好爹,现在我们的开发环境考虑最多的还是生态。


三:gRPC的原理

一个RPC框架必须有两个基础的组成部分:数据的序列化和进程数据通信的交互方式。

对于序列化gRPC采用了自家公司开源的Protobuf。什么是Protobuf?先看一句网络上 大部分的解释:

Google Protocol Buffer(简称 Protobuf)是一种轻便高效的结构化数据存储格式,平台无关、语言无关、可扩展,可用于通讯协议和数据存储等领域。

上句有几个关键点:它是一种数据存储格式,跨语言,跨平台,用于通讯协议和数据存储。

这么看和我们熟悉的JSON类似,但其实着重点有些本质的区别。JSON主要是用于数据的传输,因为它轻量级,可读性好,解析简单。Protobuf主要是用于跨语言的IDL,它除了和JSON、XML一样能定义结构体之外,还可以使用自描述格式定于出接口的特性,并可以使用针对不同语言的protocol编译器产生不同语言的stub类。所以天然的适用于跨语言的RPC框架中。

而关于进程间的通讯,无疑是Socket。Java方面gRPC同样使用了成熟的开源框架Netty。使用Netty Channel作为数据通道。传输协议使用了HTTP2。

通过以上的分析,我们可以将一个完整的gRPC流程总结为以下几步:

  • 通过.proto文件定义传输的接口和消息体。

  • 通过protocol编译器生成server端和client端的stub程序。

  • 将请求封装成HTTP2的Stream。

  • 通过Channel作为数据通信通道使用Socket进行数据传输。


四:代码的简单实现

概念永远都是枯燥的,只有实战才能真正理解问题。下面我们使用代码基于以上的步骤来实现一个简单gRPC。为了体现gRPC跨语言的特性,这次我们使用两种语言:Go实现server端,Java作为client端来实现。

1:安装Protocol Buffers,定义.proto文件

登录Google的 github下载对应Protocol Buffers版本。

安装完成后当我们执行protoc命令如果返回如下信息说明安装成功。

protoc

下面我们定义一个simple.proto文件,这也是后续我们实现gRPC的基础

syntax = "proto3"; //定义了我们使用的Protocol Buffers版本。

 //表明我们定义了一个命名为Simple的服务(接口),内部有一个远程rpc方法,名字为SayHello。
 //我们只要在server端实现这个接口,在实现类中书写我们的业务代码。在client端调用这个接口。
 service Simple{
    rpc SayHello(HelloRequest) returns (HelloReplay){}
 }

 //请求的结构体
 message HelloRequest{
     string name = 1;
 }
 //返回的结构体
 message HelloReplay{
     string message = 1;
 }

通过上面的注释可以看出此文件是一个简单的RPC远程方法描述。

2:使用Golang实现sever端

根据官方文档使用如下命令安装针对Go的gRPC:

$ go get -u google.golang.org/grpc

但是由于我们有伟大的长城,一般这条命令都不会下载成功。但Google的文件一般都会在github存有一份镜像。我们可以使用如下命令:

$ go get -u github.com/grpc/grpc-go

随后将下载的文件夹重命名为go,并放入一个新建的google.golang.org的文件夹中。????‍♀️

当我们安装完gRPC并定义好了远程接口调用的具体信息后,我们要使用protocol编译器生成我们的stub程序。

我们安装的Protocol Buffers是用来编译我们的.proto文件的,但是编译后的文件是不能被Java、C、Go等这些语言使用。Google针对不同的语言有不同的编译器。本次我们使用Golang语言,所以要安装针对Golang的编译器,根据官方提供的命令执行:

$ go get -u github.com/golang/protobuf/protoc-gen-go

但有可能我们会下载不成功,因为这个会依赖很多Golang的类库,这些类库和上面安装gRPC一样,鉴于墙的原因,还要执行一系列繁琐的改文件夹的步骤。但这个不是我们的重点,就不细说了。

安装成功之后我们就可以建立Go的project了。

本次我们建立一个grpc-server的项目,然后将前面写的simple.proto放入项目proto的package中。

随后在项目的目录下使用命令行执行如下命令:

protoc -I grpc-server/ proto/simple.proto --go_out=plugins=grpc:simple

这样就将simple.proto编译成了Go语言对应的stub程序了。

随后我们就可以写我们server端的代码了:main.go。

package main

import (
    "context"
    "grpc-server/proto"
    "fmt"
    "net"
    "log"
    "google.golang.org/grpc"
    "google.golang.org/grpc/reflection"
)

const(
    port = ":50051"
)

type server struct{}

func (s *server) SayHello(ctx context.Context,req *simple.HelloRequest) (*simple.HelloReplay, error){

    fmt.Println(req.Name)

    return &simple.HelloReplay{Message:"hello =======> " + req.Name},nil
}

func main(){
    lis,err := net.Listen("tcp",port)

    if err != nil {
        log.Fatal("fail to listen")
    }

    s := grpc.NewServer()

    simple.RegisterSimpleServer(s,&server{})

    reflection.Register(s)

    if err:= s.Serve(lis);err != nil{
        log.Fatal("fail to server")
    }
}

以上的代码都是模板代码,main函数是socket使用Go的标准实现。作为开发者我们只关注远程服务提供的具体接口实现即可。

最终我们的项目目录是这样的:

go-server

就这样一个使用Go语言实现的最简单server端就完成了。

3:使用Java实现client端

相对来说Java实现就简单一些,首先我们可以使用熟悉的Maven插件进行stub代码的生成。

新建一个grpc-client的父项目,两个子项目:client和lib。lib用于stub程序的代码生成。

lib项目编辑pom.xml,添加gRPC针对Java的插件编译器:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.js</groupId>
    <artifactId>grpc-client</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>pom</packaging>

    <modules>
        <module>client</module>
    </modules>

    <name>grpc-client</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <grpc.version>1.13.1</grpc.version>
        <springboot.version>2.0.4.RELEASE</springboot.version>
    </properties>
    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter</artifactId>
                <version>${springboot.version}</version>
            </dependency>
            <dependency>
                <groupId>io.grpc</groupId>
                <artifactId>grpc-netty</artifactId>
                <version>${grpc.version}</version>
            </dependency>
            <dependency>
                <groupId>io.grpc</groupId>
                <artifactId>grpc-protobuf</artifactId>
                <version>${grpc.version}</version>
            </dependency>
            <dependency>
                <groupId>io.grpc</groupId>
                <artifactId>grpc-stub</artifactId>
                <version>${grpc.version}</version>
            </dependency>

            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
                <version>${springboot.version}</version>
            </dependency>
        </dependencies>
    </dependencyManagement>


    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

将定义好的simple.proto文件拷贝项目proto的package下。随后右键:Run Maven——compile。

maven

生成完成后将target下图中的两个文件拷贝到client项目目录中。

target

之后就是编写我们的业务代码进行gRPC的远程调用了。本次我们写一个简单的web程序模拟远程的调用。

定义一个class:SimpleClient:

package org.js.client.grpc;

import io.grpc.ManagedChannel;
import io.grpc.ManagedChannelBuilder;

import java.util.concurrent.TimeUnit;

/**
 * @author JiaShun
 * @date 2018/8/11 12:11
 */
public class SimpleClient {
    private final ManagedChannel channel;
    private final SimpleGrpc.SimpleBlockingStub blockingStub;
    public SimpleClient(String host, int port){
        this(ManagedChannelBuilder.forAddress(host, port).usePlaintext());
    }

    private SimpleClient(ManagedChannelBuilder<?> channelBuilder){
        channel = channelBuilder.build();
        blockingStub = SimpleGrpc.newBlockingStub(channel);
    }

    public void shutdown()throws InterruptedException{
        channel.shutdown().awaitTermination(5, TimeUnit.SECONDS);
    }

    public String sayHello(String name){
        SimpleOuterClass.HelloRequest req = SimpleOuterClass.HelloRequest.newBuilder().setName(name).build();
        SimpleOuterClass.HelloReplay replay = blockingStub.sayHello(req);
        return replay.getMessage();
    }
}

基本都是模板代码。下面再编写一个简单的web请求:

controller代码:

package org.js.client.controller;

import org.js.client.service.IHelloService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author JiaShun
 * @date 2018/8/10 22:20
 */
@RestController
public class HelloController {
    @Autowired
    private IHelloService helloService;

    @GetMapping("/{name}")
    public String sayHello(@PathVariable String name){
        return helloService.sayHello(name);
    }
}

service实现类:

package org.js.client.service;

import org.js.client.grpc.SimpleClient;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;

/**
 * @author JiaShun
 * @date 2018/8/10 22:22
 */
@Service
public class HelloServiceImpl implements IHelloService{
    private Logger logger = LoggerFactory.getLogger(HelloServiceImpl.class);
    @Value("${gRPC.host}")
    private String host;
    @Value("${gRPC.port}")
    private int port;

    @Override
    public String sayHello(String name) {
        SimpleClient client = new SimpleClient(host,port);
        String replay = client.sayHello(name);
        try {
            client.shutdown();
        } catch (InterruptedException e) {
            logger.error("channel关闭异常:err={}",e.getMessage());
        }
        return replay;
    }

}

就这么简单。

随后我们测试一下:

分别启动Go server端,Java client端。

gRPC-start

访问:http://localhost:8080/jiashun

gRPC-test

可以发现server端打印出了client端的请求,client端也收到了server端的返回。

完整代码:

server:https://github.com/jia-shun/grpc-server

client:https://github.com/jia-shun/grpc-client


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:贾顺

查看原文:gRPC基于Golang和Java的简单实现

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1629 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传