跨项目数据共享(跨语言)

对于这个话题,我相信大家很容易想到,HTTP接口的方式可以解决。

大概的做法类似这样:

  1. 根据HTTP接口需要的参数,将参数序列化成json字符串;

  2. 根据当前项目开发语言,封装一个处理Post||Get请求的方法,发送请求;

  3. 接口返回结果,然后反序列化成实体在逻辑代码中使用;


可能在单个项目内使用这样的方式痛点并不是很明显。但如果是在多个项目内,每个项目都依赖于这个接口,那为了获取到数据可能会写很多重复代码。而且可能因为没有统一的反序列实体来映射,会出现A项目对这个属性名反序列化后叫西门庆,到了B项目同样的属性名就叫成了武大郎,这样开发的同学也会觉得很不开心。

我们目前的情况是多个项目,而且项目也不是统一的语言。为了解决上面的问题,我们决定使用gRPC的方式来处理,基本需要满足以下条件:

  1. 微服务化
  2. 跨语言
  3. 性能
  4. 调用者方便

因为我目前参与的项目基于.Net开发,所以下面的一些例子可能会不自觉偏向C#。


在使用gRPC之前,需要先了解一下RPC、HTTP接口

RPC
  • RPC(Remote Procedure Call Protocol)就是从一台机器(客户端)上通过参数传递的方式调用另一台机器(服务器)上的一个函数或方法并得到返回的结果,流程如下:

RPC流程

HTTP接口
  • 论复杂度,RPC框架肯定是高于简单的HTTP接口的;

  • HTTP接口由于受限于HTTP协议,需要带HTTP请求头,导致传输起来效率不如RPC;

  • RPC是长链接,不必每次通信都要像HTTP一样去握手。

gRPC
  • gRPC 是一个高性能 RPC 框架,和HTTP一样都是一种对RPC的实现,但性能相比之下更好;

  • 使用 Protocol Buffers 来作为序列化和反序列化,以及接口定义语言,Protocol Buffers已经被证明是非常高效序列化框架;

  • 跨语言,跨平台,gRPC支持多种平台和多种语言;

  • 基于 HTTP/2。


gRPC服务创建大概流程如下:

1、创建.proto文件,定义通信的数据结构和服务接口。文件内包含方法、请求参数、返回结果等;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
syntax = "proto3";

package MD.CacheService;

service MDCache {
// 获取单账号信息
rpc GetAccountInfo (AccountInfoRequest) returns (AccountInfoResponse) {}
}

// 获取单账号数据请求参数
message AccountInfoRequest {
// 账号id
string accountId = 1;
}

// 获取单个账号数据返回值
message AccountInfoResponse {
// 账号实体
AccountInfo accountInfo = 1;
}

// 账号实体
message AccountInfo{
// 账号id
string accountId = 1;
// 姓名
string fullname = 2;
// 头像
string avatar = 3;
// 账号创建时间,时间戳
int64 createTime = 4;
}

2、根据.proto文件通过Protocol Buffer 编译器分别生成服务队和客户端的代码(看官方的支持,可以选择一种你最擅长的语言,服务端和客户端完全不需要规定一样的语言);

生成的代码

3、基于生成的代码创建服务端和客户端应用;

4、在服务端创建一个类对服务接口进行override;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
public class CacheServiceImpl : MDCache.MDCacheBase
{
/// <summary>
/// 获取单个账号accountInfo
/// </summary>
/// <param name="request"></param>
/// <param name="context"></param>
/// <returns></returns>
public override Task<AccountInfoResponse> GetAccountInfo(AccountInfoRequest request, ServerCallContext context)
{
var response = new AccountInfoResponse();

if (!string.IsNullOrEmpty(request.AccountId))
{
response.AccountInfo = GetServiceAccountInfo(request.AccountId);
}
return Task.FromResult(response);
}
}

5、启动服务(服务安装基于Topshelf);

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
class Program
{
static void Main(string[] args)
{
HostFactory.Run(x =>
{
x.Service<CacheService>(s =>
{
s.ConstructUsing(name => new CacheService());
s.WhenStarted(tc => tc.Start());
s.WhenStopped(tc => tc.Stop());
});
x.RunAsLocalSystem();

x.SetDisplayName("MD.CacheService");
x.SetServiceName("MD.CacheService");
});
}
}

public class CacheService
{
private readonly string host = ConfigurationManager.AppSettings["Host"];//服务IP
private readonly string port = ConfigurationManager.AppSettings["Port"];//服务端口

readonly Server server;
public CacheService()
{
server = new Server
{
Services = { MDCache.BindService(new CacheServiceImpl()) },
Ports = { new ServerPort(host, Convert.ToInt32(port), ServerCredentials.Insecure) }
};
}
public void Start() { server.Start(); }
public void Stop() { server.ShutdownAsync(); }
}

6、客户端连接测试

1
2
var channel = new Channel("host:port", ChannelCredentials.Insecure);
var client = new MDCacheClient(channel);

C#官方 example ,照着做也可以实现效果

部署:

  • 基于.Net Core的可以将服务部署在Linux上;
  • 基于.Net Framework的可以部署成Windows服务,关于Windows服务方式,这里推荐使用Topshelf,非常简单。

服务部署后涉及到负载和高可用的问题,单点故障是不能接收的。关于这部分的实现方式,相信熟悉 Nginx 的同学可以很快解决,当然也可以使用其他方案。

参考链接:

如果对你有帮助就好