【gRPC】2—gRPC与PB桩代码生成与扩展

gRPC与PB&桩代码生成与扩展

⭐⭐⭐⭐⭐⭐
Github主页👉https://github.com/A-BigTree
笔记链接👉https://github.com/A-BigTree/Code_Learning
⭐⭐⭐⭐⭐⭐

如果可以，麻烦各位看官顺手点个star~😊

📖RPC专栏：https://blog.csdn.net/weixin_53580595/category_12368218.html

---

PB即protobuf全名是ProtocolBuffers，是谷歌推出的二进制序列化协议，提供IDL文件来定义各种类型的数据。在RPC系列中已经详细介绍过ProtocolBuffers协议，感兴趣的小伙伴可以移步 Protobuf入门 和 Protobuf编码原理 🎉

目前整体协议版本是proto3，protobuf提供了从proto文件编译生成各个语言文件的功能。与此同时protobuf提供了丰富的插件机制，用户可以扩展生成的对应语言的文件，俗称桩代码生成。gRPC正是通过插件式的扩展机制完成相关桩代码的生成。

1 ProtocolBuffers协议详详解

1.1 proto文件路径说明

syntax = "proto3";package com.grpc.test;option java_package = "com.grpc.demo";
option java_outer_classname = "Demo";
option java_multiple_files = true;message TestRequest {string value = 1;
}message TestResponse {string value = 1;
}service TestService {rpc Test (TestRequest) returns (TestResponse);rpc TestDeadline (TestRequest) returns (TestResponse);rpc TestCost (TestRequest) returns (TestResponse);rpc TestEmpty (TestRequest) returns (TestResponse);
}service TestStreamService {rpc Test (TestRequest) returns (stream TestResponse);rpc TestFailed (TestRequest) returns (stream TestResponse);rpc TestSlow (TestRequest) returns (stream TestResponse);rpc TestUpStream(stream TestRequest) returns (TestResponse);rpc TestUpStreamSlow(stream TestRequest) returns (TestResponse);rpc TestDuplex(stream TestRequest) returns (stream TestResponse);rpc TestOutboundFlowControl (TestRequest) returns (stream TestResponse);
}

如上面proto文件所示，一共有三个路径：

1. proto文件本身所在路径：假设是grpc/demo；使用场景是当其他proto文件需要引入当前proto文件时依赖这个路径，形如 import "grpc/demo/demo.proto"。这样就可以使用文件内部定义的message了；
2. proto文件内部package指定路径：com.grpc.test；这个路径非常的核心，任何迁移或者修改proto文件的操作都不应该修改这个package路径，因为它决定了文件内部service的full path name。一旦发生变化就会造成在实际gRPC调用时找不到服务方法而抛异常（Unimplemented）；
3. option参数指定java输出路径：com.grpc.demo；这个路径也比较核心，定义好之后也不要轻易修改，因为它决定了proto中message类的生成路径，如果修改会造成源码不兼容编译阻塞；

1.2 proto文件输出样式

1. proto文件的名称，例如grpc_demo.proto；在没指定2的前提下，会默认按照驼峰生成OuterClass，对于本例为GrpcDemo.java；有意思的是当proto文件中的message跟默认生成java类名重名的时候，会在生成类名后面加上OuterClass，对于本例为GrpcDemoOuterClass；
2. option java_outer_classname = "Demo"：如果指定此选项，则输出文件名称为指定名称Demo；
3. option java_multiple_files = true：指定此选项proto文件中的message会生成独立的java文件，此选项定义好后也不要轻易修改，否则也会造成编译阻塞，推荐开启这个选项；

2 gRPC装代码生成

gRPC通过Protocol Buffers提供的Plugin机制来实现原生桩代码生成，Protobuf的插件化桩代码生成机制主体思想如下：

1. FileDescriptor 作为Plugin的输入参数，代表一个proto文件的描述；
2. ServiceDescriptor代表一个service的描述符；
3. MethodDescriptor代表一个service中方法的描述符，包括之前描述的四种MethodType；
4. Printer作为输出写文件到对应路径；

2.1 gRPC原生桩代码生成

gRPC生成的桩代码可以拆解为如下几个部分：

1. ServiceDescriptor、MethodDescriptor单例变量，出于性能考虑
2. ClientStub，主要包括三种：
   • XXXBlockingStub：官方已经弃用；
   • XXXFutureStub：返回ListeningFuture，也是我们使用最多的方式；
   • XXXStub：异步方式，业务通过StreamObserver回调来感知数据流转；
   • XXXImplBase：服务实现基类；

2.2 gRPC桩代码生成扩展

gRPC桩代码生成的扩展方式有两种：

1. 在原生桩代码生成之上做修改，需要修改为**c++**文件重新编译构建
2. 直接利用Protocol Buffers提供的扩展机制自己生成全新的文件

2.2.1 原生桩代码修改

以Unary模式屏蔽StreamObserver为例：

proto文件如下：

syntax = "proto3";package grpc.health.v1;option csharp_namespace = "Grpc.Health.V1";
option java_multiple_files = true;message HealthCheckRequest {string service = 1;
}message HealthCheckResponse {enum ServingStatus {UNKNOWN = 0;SERVING = 1;NOT_SERVING = 2;}ServingStatus status = 1;oneof opt_idle {double idle = 2; // range (0,1]}uint32 active_thread_count = 3;uint32 max_thread_count = 4;
}service Health {rpc Check (HealthCheckRequest) returns (HealthCheckResponse);rpc StreamCheck (stream HealthCheckRequest) returns (stream HealthCheckResponse);
}

新生成的代码实例如下：

public static abstract class HealthImplBaseV2 extends HealthImplBase {public abstract grpc.health.v1.HealthCheckResponse check(grpc.health.v1.HealthCheckRequest request) throws java.lang.Throwable;@java.lang.Overridepublic final void check(grpc.health.v1.HealthCheckRequest request,io.grpc.stub.StreamObserver<grpc.health.v1.HealthCheckResponse> responseObserver) {try {grpc.health.v1.HealthCheckResponse response = check(request);responseObserver.onNext(response);responseObserver.onCompleted();} catch (java.lang.Throwable t) {com.google.common.base.Throwables.throwIfUnchecked(t);throw new com.google.common.util.concurrent.UncheckedExecutionException("GRPC_INTERNAL", t);}}

扩展如下：

private static class Impl extends HealthGrpc.HealthImplBaseV2 {@Overridepublic HealthCheckResponse check(HealthCheckRequest request) throws java.lang.Throwable;try {//todo 写下你的业务逻辑return null;} catch (Exception e) {//添加fallback逻辑return null;}}
}

2.2.2 插件实现

1. 自定义一个Generator，并实现GenerateFiles方法

<dependency><groupId>com.salesforce.servicelibs</groupId><artifactId>jprotoc</artifactId><version>xxx</version>
</dependency>

package com.grpc.test;...
public class XXXXGrpcGenerator extends com.salesforce.jprotoc.Generator {public static void main(String[] args) {com.salesforce.jprotoc.ProtocPlugin.generate(new XXXXGrpcGenerator());}.../*** Processes a generator request into a set of files to output.** @param request The raw generator request from protoc.* @return The completed files to write out.*/public List<PluginProtos.CodeGeneratorResponse.File> generateFiles(PluginProtos.CodeGeneratorRequest request) throws GeneratorException {//customize protoc generate code herereturn Collections.emptyList();}
}

2. plugin配置插件类

<plugin><groupId>org.xolstice.maven.plugins</groupId><artifactId>protobuf-maven-plugin</artifactId><version>xxxx</version><configuration><protocArtifact>com.google.protobuf:protoc:${protoc.version}:exe:${os.detected.classifier}</protocArtifact><pluginId>grpc-java</pluginId><pluginArtifact>io.grpc:protoc-gen-grpc-java:${grpc.version}:exe:${os.detected.classifier}</pluginArtifact></configuration><executions><execution><goals><goal>compile</goal><goal>compile-custom</goal><goal>test-compile</goal><goal>test-compile-custom</goal></goals><configuration><protocPlugins><protocPlugin><id>rxgrpc</id><groupId>com.grpc.test</groupId><artifactId>grpc-code-generate-plugin</artifactId><version>${plugin.version}</version><mainClass>com.grpc.test.XXXXGrpcGenerator</mainClass></protocPlugin></protocPlugins></configuration></execution></executions>
</plugin>