百度 RPC 框架 brpc 简介

9 月 14 日，百度正式在 GitHub 上基于 Apache 2.0 协议开源了其 RPC 框架 brpc。brpc 是一个基于 protobuf 接口的 RPC 框架，在百度内部称为“baidu-rpc”，它囊括了百度内部所有 RPC 协议，并支持多种第三方协议，从目前的性能测试数据来看，brpc 的性能领跑于其他同类 RPC 产品。

brpc 类似于阿里的 dubbo，腾讯的 tars。

brpc 开发于 2014 年，主要使用的语言是 C++ 和 Java，是百度内部使用最为广泛的 RPC 框架，它经受了高并发高负载的生产环境验证，并支撑了百度内部大约 75 万个同时在线的实例。

brpc 在百度中使用的最常见的RPC框架，拥有60万个实例和500多种服务，在百度之内称为“baidu-rpc”。

什么是RPC？

互联网上的大多数机器通过TCP / IP互相通信。然而，TCP/IP只保证可靠的数据传输，我们需要抽象更多的来构建服务：

• 数据传输的格式是什么？不同的机器和网络可能有不同的字节顺序，直接发送内存中的数据是不合适的。数据中的字段逐渐添加，修改或删除，新服务如何与较旧的服务进行交流？
• TCP连接可以重用于多个请求以减少开销吗？多个请求可以通过一个TCP连接同时发送吗？
• 如何与许多机器的集群谈话？
• 当连接断开时应该怎么办？如果服务器没有响应怎么办？

RPC通过将网络通信抽象为“服务器上的客户端访问功能”来解决上述问题：客户端向服务器发送请求，等到服务器接收到 – >进程 – >响应请求，然后根据结果执行操作。

让我们看看问题如何解决。

• RPC需要由protobuf完成的序列化。用户以protobuf :: Message的格式填写请求，做RPC，并在protobuf :: Message中从响应中获取结果。protobuf具有良好的前向和后向兼容性，用户可以逐步更改字段和构建服务。对于http服务，json用于广泛的序列化。
• 连接的建立和重新使用对于用户是透明的，但是用户可以做出选择，说出不同的连接类型：短，池，单。
• 机器被命名服务，可以通过执行发现的DNS， ZooKeeper or etcd。在百度里面，我们使用BNS（百度命名服务）。brpc也提供了“list：//”和“file：//”。用户指定负载均衡算法为所有机器的每个请求选择一台机器，包括：循环，随机，一致的哈希（murmurhash3或md5）和本地化感知。
• 当连接断开时，RPC重试。当服务器在给定的时间内没有响应时，客户端失败，超时错误。

哪里场景可以使用RPC？

几乎所有的网络通信。

RPC无法做到一切，否则我们不需要TCP / IP层。但是在大多数网络通信中，RPC满足要求并隔离底层细节。

RPC常见疑问：

• 我的数据是二进制的，使用protobuf很慢。首先这可能是一个错误的感觉，你必须用剖析器证明它，第二个许多协议支持携带二进制数据以及protobuf请求，并绕过序列化。
• 我正在发送不能由RPC处理的流数据。实际上，RPC中的许多协议可以处理流数据，包括http中的ProgressiveReader，h2中的流，流rpc和作为专用流协议的RTMP。
• 我不需要回复 有了一些引导，我们知道，在您的场景中，请求可以在任何阶段丢弃，因为客户端始终不了解情况。你真的确定这是可以接受的吗？即使您不需要回复，我们建议您发回小尺寸的回复，这些回复是不太可能的性能瓶颈，并且在调试复杂的错误时可能是有价值的线索。

brpc 是什么？

在百度中使用的RPC框架遍布百度，其中有600,000多个实例（不包括客户端）和500多种服务，在百度中称为“ 百度rpc ”。现在只有C ++实现被打开了。

您可以使用它：

• 构建可以在多个协议（在同一端口）上进行通话或者访问各种服务的服务器

   

  • 安静的http / https，h2 / h2c（兼容grpc，将很快被打开）。在brpc中使用http比libcurl更友好。
  • redis和memcached，线程安全，比官方客户更友善和更好
  • rtmp / flv / hls，用于构建实时流服务。
  • hadoop_rpc（尚未打开）
  • 通过openucx支持rdma（即将开放）
  • 百度使用的各种协议：baidu_std，streaming_rpc，hulu_pbrpc，sofa_pbrpc，nova_pbrpc，public_pbrpc，ubrpc和基于nshead的协议。
  • 使用HTTP + json访问基于protobuf的协议，可能来自另一种语言。
  • 使用RAFT协商一致的算法构建分布式服务（将在快速启动时启用）
• 丰富的处理模式

   

  • 服务可以同步或异步处理请求。
  • 同步或异步访问服务，甚至半同步访问。
  • 使用组合通道以声明方式简化复杂的客户端模式，包括分片和并行访问。
• 通过http调试服务，并运行 cpu，堆和争用分析器。
• 获得更好的延迟和吞吐量。
• 使用您组织中使用的协议快速扩展brpc，或自定义组件，包括命名服务（dns，zk，etcd），负载均衡器（rr，random，一致散列）

参考资料

• https://github.com/brpc/brpc

： » 百度 RPC 框架 brpc 简介