前言：
最近在学习rpcx，为了更清楚搞懂rpcx的各种协议组成。对rpcx的协议做了一个深入学习。
系统： mac OS 10.14.3
golang: go1.12 darwin/amd64
调试工具：lldb
抓包工具：tcpdump
# （一）tcpdump工具使用
tcpdump是一个网络抓包工具，tcpdump支持针对网络层、协议、主机、网络或端口的过滤。
并提供and、or、not等逻辑语句来帮助你去掉无用的信息。
tcpdump格式信息如下：
参数详解
-a -- 将网络地址和广播地址转变成名字
-d -- 将匹配信息包的代码以人们能够理解的汇编格式给出
-dd -- 将匹配信息包的代码以c语言程序段的格式给出
-ddd -- 将匹配信息包的代码以十进制的形式给出
-e -- 在输出行打印出数据链路层的头部信息
-f -- 将外部的Internet地址以数字的形式打印出来
-l -- 使标准输出变为缓冲行形式
-n -- 不把网络地址转换成名字
-t -- 在输出的每一行不打印时间戳
-v -- 输出一个稍微详细的信息，例如在ip包中可以包括ttl和服务类型的信息
-vv -- 输出详细的报文信息
-c -- 在收到指定的包的数目后，tcpdump就会停止
-F -- 从指定的文件中读取表达式,忽略其它的表达式
-i -- 指定监听的网络接口
-r -- 从指定的文件中读取包(这些包一般通过-w选项产生)
-w -- 直接将包写入文件中，并不分析和打印出来
-T -- 将监听到的包直接解释为指定的类型的报文，常见的类型有rpc （远程过程调用）和snmp（简单网络管理协议）
-S -- 打印TCP 数据包的顺序号时, 使用绝对的顺序号, 而不是相对的顺序号.
-XX -- 当分析和打印时, tcpdump 会打印每个包的头部数据, 同时会以16进制和ASCII码形式打印出每个包的数据,
其中包括数据链路层的头部.这对于分析一些新协议的数据包很方便.命令：
1）想要截获所有192.168.1.100 的主机收到的和发出的所有的数据包：
tcpdump host 192.168.1.100
2）想要截获主机192.168.1.100 和主机192.168.1.101 或192.168.1.102的通信，使用命令：（在命令行中使用 括号时，一定要转义）
tcpdump host 192.168.1.100 and (192.168.1.101 or 192.168.1.102)
3）如果想要获取主机192.168.1.100除了和主机192.168.1.101之外所有主机通信的ip包，使用命令：
tcpdump ip host 192.168.1.100 and ! 192.168.1.101
4）如果想要获取主机192.168.1.100接收或发出的telnet包，使用如下命令：
tcpdump tcp port 23 and host 192.168.1.100
5）获取回环网卡8972端口包，例如回环网卡为lo0，(unix/linux)这个可以使用ifconfig查看，使用命令如下：
tcpdump -i lo0 port 8972
6)获取回环网卡8972端口包，顺序打印并打印每个包16进制数据
tcpdump -i lo0 port 8972 -S -XX（二）编译rpcx和运行tcpdump
2.1第一步编译tcp例子：
源码
https://github.com/rpcx-ecosystem/rpcx-examples3/tree/master/101basic
编译server
go build -o server server.go
编译client
go build -o client_async client/client_async.go## 2.2第二步运行tcpdump：
（1）启动server、启动对应的server文件
（2）运行tcpdump
tcpdump -i lo0 port 8972 -S -XX
rpcx例子里面默认启动8972端口，由于是本地去测试，我抓的是lo0网卡，lo0网卡为回环网卡，
可以通过ifconfig查看到。
（3）执行client_async
执行client_async,tcpdump抓包信息如下：
14:17:03.977088 IP localhost.58526 > localhost.8972: Flags [S], seq 3652826897, win 65535, options [mss 16344,nop,wscale 6,nop,nop,TS val 407850151 ecr 0,sackOK,eol], length 0
0x0000: 0200 0000 4500 0040 0000 4000 4006 0000 ....E..@..@.@...
0x0010: 7f00 0001 7f00 0001 e49e 230c d9b9 b711 ..........#.....
0x0020: 0000 0000 b002 ffff fe34 0000 0204 3fd8 .........4....?.
0x0030: 0103 0306 0101 080a 184f 4ca7 0000 0000 .........OL.....
0x0040: 0402 0000 ....
14:17:03.977157 IP localhost.8972 > localhost.58526: Flags [S.], seq 2001029784, ack 3652826898, win 65535, options [mss 16344,nop,wscale 6,nop,nop,TS val 407850151 ecr 407850151,sackOK,eol], length 0
0x0000: 0200 0000 4500 0040 0000 4000 4006 0000 ....E..@..@.@...
0x0010: 7f00 0001 7f00 0001 230c e49e 7745 4a98 ........#...wEJ.
0x0020: d9b9 b712 b012 ffff fe34 0000 0204 3fd8 .........4....?.
0x0030: 0103 0306 0101 080a 184f 4ca7 184f 4ca7 .........OL..OL.
0x0040: 0402 0000 ....
14:17:03.977177 IP localhost.58526 > localhost.8972: Flags [.], ack 2001029785, win 6379, options [nop,nop,TS val 407850151 ecr 407850151], length 0
0x0000: 0200 0000 4500 0034 0000 4000 4006 0000 ....E..4..@.@...
0x0010: 7f00 0001 7f00 0001 e49e 230c d9b9 b712 ..........#.....
0x0020: 7745 4a99 8010 18eb fe28 0000 0101 080a wEJ......(......
0x0030: 184f 4ca7 184f 4ca7 .OL..OL.
14:17:03.977184 IP localhost.8972 > localhost.58526: Flags [.], ack 3652826898, win 6379, options [nop,nop,TS val 407850151 ecr 407850151], length 0
0x0000: 0200 0000 4500 0034 0000 4000 4006 0000 ....E..4..@.@...
0x0010: 7f00 0001 7f00 0001 230c e49e 7745 4a99 ........#...wEJ.
0x0020: d9b9 b712 8010 18eb fe28 0000 0101 080a .........(......
0x0030: 184f 4ca7 184f 4ca7 .OL..OL.
14:17:03.977425 IP localhost.58526 > localhost.8972: Flags [P.], seq 3652826898:3652826961, ack 2001029785, win 6379, options [nop,nop,TS val 407850151 ecr 407850151], length 63
0x0000: 0200 0000 4500 0073 0000 4000 4006 0000 ....E..s..@.@...
0x0010: 7f00 0001 7f00 0001 e49e 230c d9b9 b712 ..........#.....
0x0020: 7745 4a99 8018 18eb fe67 0000 0101 080a wEJ......g......
0x0030: 184f 4ca7 184f 4ca7 0800 0030 0000 0000 .OL..OL....0....
0x0040: 0000 0000 0000 002f 0000 0005 4172 6974 ......./....Arit
0x0050: 6800 0000 034d 756c 0000 0000 0000 0017 h....Mul........
0x0060: 82a1 41d3 0000 0000 0000 000a a142 d300 ..A..........B..
0x0070: 0000 0000 0000 14 .......
14:17:03.977440 IP localhost.8972 > localhost.58526: Flags [.], ack 3652826961, win 6378, options [nop,nop,TS val 407850151 ecr 407850151], length 0
0x0000: 0200 0000 4500 0034 0000 4000 4006 0000 ....E..4..@.@...
0x0010: 7f00 0001 7f00 0001 230c e49e 7745 4a99 ........#...wEJ.
0x0020: d9b9 b751 8010 18ea fe28 0000 0101 080a ...Q.....(......
0x0030: 184f 4ca7 184f 4ca7 .OL..OL.
14:17:03.978268 IP localhost.8972 > localhost.58526: Flags [P.], seq 2001029785:2001029837, ack 3652826961, win 6378, options [nop,nop,TS val 407850152 ecr 407850151], length 52
0x0000: 0200 0000 4500 0068 0000 4000 4006 0000 ....E..h..@.@...
0x0010: 7f00 0001 7f00 0001 230c e49e 7745 4a99 ........#...wEJ.
0x0020: d9b9 b751 8018 18ea fe5c 0000 0101 080a ...Q.....\......
0x0030: 184f 4ca8 184f 4ca7 0800 8030 0000 0000 .OL..OL....0....
0x0040: 0000 0000 0000 0024 0000 0005 4172 6974 .......$....Arit
0x0050: 6800 0000 034d 756c 0000 0000 0000 000c h....Mul........
0x0060: 81a1 43d3 0000 0000 0000 00c8 ..C.........
14:17:03.978283 IP localhost.58526 > localhost.8972: Flags [.], ack 2001029837, win 6378, options [nop,nop,TS val 407850152 ecr 407850152], length 0
0x0000: 0200 0000 4500 0034 0000 4000 4006 0000 ....E..4..@.@...
0x0010: 7f00 0001 7f00 0001 e49e 230c d9b9 b751 ..........#....Q
0x0020: 7745 4acd 8010 18ea fe28 0000 0101 080a wEJ......(......
0x0030: 184f 4ca8 184f 4ca8 .OL..OL.
14:17:04.978001 IP localhost.58526 > localhost.8972: Flags [F.], seq 3652826961, ack 2001029837, win 6378, options [nop,nop,TS val 407851148 ecr 407850152], length 0
0x0000: 0200 0000 4500 0034 0000 4000 4006 0000 ....E..4..@.@...
0x0010: 7f00 0001 7f00 0001 e49e 230c d9b9 b751 ..........#....Q
0x0020: 7745 4acd 8011 18ea fe28 0000 0101 080a wEJ......(......
0x0030: 184f 508c 184f 4ca8 .OP..OL.
14:17:04.978053 IP localhost.8972 > localhost.58526: Flags [.], ack 3652826962, win 6378, options [nop,nop,TS val 407851148 ecr 407851148], length 0
0x0000: 0200 0000 4500 0034 0000 4000 4006 0000 ....E..4..@.@...
0x0010: 7f00 0001 7f00 0001 230c e49e 7745 4acd ........#...wEJ.
0x0020: d9b9 b752 8010 18ea fe28 0000 0101 080a ...R.....(......
0x0030: 184f 508c 184f 508c .OP..OP.
14:17:04.978236 IP localhost.8972 > localhost.58526: Flags [F.], seq 2001029837, ack 3652826962, win 6378, options [nop,nop,TS val 407851149 ecr 407851148], length 0
0x0000: 0200 0000 4500 0034 0000 4000 4006 0000 ....E..4..@.@...
0x0010: 7f00 0001 7f00 0001 230c e49e 7745 4acd ........#...wEJ.
0x0020: d9b9 b752 8011 18ea fe28 0000 0101 080a ...R.....(......
0x0030: 184f 508d 184f 508c .OP..OP.
14:17:04.978291 IP localhost.58526 > localhost.8972: Flags [.], ack 2001029838, win 6378, options [nop,nop,TS val 407851149 ecr 407851149], length 0
0x0000: 0200 0000 4500 0034 0000 4000 4006 0000 ....E..4..@.@...
0x0010: 7f00 0001 7f00 0001 e49e 230c d9b9 b752 ..........#....R
0x0020: 7745 4ace 8010 18ea fe28 0000 0101 080a wEJ......(......
0x0030: 184f 508d 184f 508d .OP..OP.我们发现对应抓包的信息有12个包，每个包之间16进制数据有很多都是相同的。
（三）解析TCP包
对应数据包
14:17:03.977088 IP localhost.58526 > localhost.8972: Flags [S], seq 3652826897, win 65535, options [mss 16344,nop,wscale 6,nop,nop,TS val 407850151 ecr 0,sackOK,eol], length 0
0x0000: 0200 0000 4500 0040 0000 4000 4006 0000 ....E..@..@.@...
0x0010: 7f00 0001 7f00 0001 e49e 230c d9b9 b711 ..........#.....
0x0020: 0000 0000 b002 ffff fe34 0000 0204 3fd8 .........4....?.
0x0030: 0103 0306 0101 080a 184f 4ca7 0000 0000 .........OL.....
0x0040: 0402 0000网络传输中的字节码都是大端读取的，这个是为了兼容CPU架构。所以在编程中需要转换网络字节码，其实就是小端转成大端。
就像我们的02 00
完整解析可以看如下图：
MAC帧头定义
/*数据帧定义，头14个字节，尾4个字节*/
typedef struct _MAC_FRAME_HEADER
{
char m_cDstMacAddress[6]; //目的mac地址
char m_cSrcMacAddress[6]; //源mac地址
short m_cType; //上一层协议类型，如0x0800代表上一层是IP协议，0x0806为arp
}__attribute__((packed))MAC_FRAME_HEADER,*PMAC_FRAME_HEADER;
typedef struct _MAC_FRAME_TAIL
{
unsigned int m_sCheckSum; //数据帧尾校验和
}__attribute__((packed))MAC_FRAME_TAIL, *PMAC_FRAME_TAIL;结合上图我们可以看到貌似我们并没有使用到mac帧头，图中链路层只占用4字节。这是因为我们使用的是回环链路。针对于链路层有很多的形式。不同的形式，链路层占用的字节长度不同。
IP头结构的定义
/*IP头定义，共20个字节*/
typedef struct _IP_HEADER
{
char m_cVersionAndHeaderLen; //版本信息(前4位)，头长度(后4位)
char m_cTypeOfService; // 服务类型8位
short m_sTotalLenOfPacket; //数据包长度
short m_sPacketID; //数据包标识
short m_sSliceinfo; //分片使用
char m_cTTL; //存活时间
char m_cTypeOfProtocol; //协议类型
short m_sCheckSum; //校验和
unsigned int m_uiSourIp; //源ip
unsigned int m_uiDestIp; //目的ip
} __attribute__((packed))IP_HEADER, *PIP_HEADER ;tcp头结构定义
/*TCP头定义，共20个字节*/
typedef struct _TCP_HEADER
{
short m_sSourPort; // 源端口号16bit
short m_sDestPort; // 目的端口号16bit
unsigned int m_uiSequNum; // 序列号32bit
unsigned int m_uiAcknowledgeNum; // 确认号32bit
short m_sHeaderLenAndFlag; // 前4位：TCP头长度；中6位：保留；后6位：标志位
short m_sWindowSize; // 窗口大小16bit
short m_sCheckSum; // 检验和16bit
short m_surgentPointer; // 紧急数据偏移量16bit
}__attribute__((packed))TCP_HEADER, *PTCP_HEADER;TCP头中的选项定义
/*TCP头中的选项定义
kind(8bit)+Length(8bit，整个选项的长度，包含前两部分)+内容(如果有的话)
KIND = 1表示 无操作NOP，无后面的部分
2表示 maximum segment 后面的LENGTH就是maximum segment选项的长度（以byte为单位，1+1+内容部分长度）
3表示 windows scale 后面的LENGTH就是 windows scale选项的长度（以byte为单位，1+1+内容部分长度）
4表示 SACK permitted LENGTH为2，没有内容部分
5表示这是一个SACK包 LENGTH为2，没有内容部分
8表示时间戳，LENGTH为10，含8个字节的时间戳
*/
typedef struct _TCP_OPTIONS
{
char m_ckind;
char m_cLength;
char m_cContext[32];
}__attribute__((packed))TCP_OPTIONS, *PTCP_OPTIONS;（四）tcpdump 解惑链路层协议
图中为tcpdump源码调试过程，如果走的是回环链路, 且你们系统是mac os则回走null_if_print方法。
tcpdump中print-null.c源码：
define NULL_HDRLEN 4
这个 DLT_NULL 数据包头的长度为4字节。它包含主机字节顺序指定系列的32位整数，例如AF_INET。OpenBSD DLT_LOOP包头是相同的，除了整数按网络字节顺序排列。
DLT_NULL是 BSD回路封装，由于mac OS是BSD系类改造的。所以用的是一样的。DLT_LOOP是OpenBSD的回路封装。
回环网卡接口打印的代码如下：
void
null_if_print(netdissect_options *ndo, const struct pcap_pkthdr *h, const u_char *p)
{
u_int length = h->len;
u_int caplen = h->caplen;
uint32_t family;
ndo->ndo_protocol = "null";
if (caplen < NULL_HDRLEN) {
ndo->ndo_ll_header_length += caplen;
nd_print_trunc(ndo);
return;
}
ndo->ndo_ll_header_length += NULL_HDRLEN;
family = GET_HE_U_4(p); //4字节表标识
if ((family & 0xFFFF0000) != 0)
family = SWAPLONG(family);
if (ndo->ndo_eflag)
null_hdr_print(ndo, family, length);
length -= NULL_HDRLEN; //tcp数据包长度
caplen -= NULL_HDRLEN; //整体包长度，包含链路层
p += NULL_HDRLEN;
switch (family) {
case BSD_AFNUM_INET: //ipv4
ip_print(ndo, p, length); //打印数据
break;
case BSD_AFNUM_INET6_BSD: //ipv6
case BSD_AFNUM_INET6_FREEBSD:
case BSD_AFNUM_INET6_DARWIN:
ip6_print(ndo, p, length); //打印数据
break;
case BSD_AFNUM_ISO:
isoclns_print(ndo, p, length);
break;
case BSD_AFNUM_APPLETALK:
atalk_print(ndo, p, length);
break;
case BSD_AFNUM_IPX:
ipx_print(ndo, p, length);
break;
default:
/* unknown AF_ value */
if (!ndo->ndo_eflag)
null_hdr_print(ndo, family, length + NULL_HDRLEN);
if (!ndo->ndo_suppress_default_print)
ND_DEFAULTPRINT(p, caplen);
}
return;
}
图中调试为caplen为网络4层协议的包大小56、length为数据包大小52。他们刚好相差4。
（五）数据包协议解析
5.1 tcp/ip协议解析
TCP/IP 三次握手
14:17:03.977088 IP localhost.58526 > localhost.8972: Flags [S], seq 3652826897, win 65535
14:17:03.977157 IP localhost.8972 > localhost.58526: Flags [S.], seq 2001029784, ack 3652826898
14:17:03.977177 IP localhost.58526 > localhost.8972: Flags [.], ack 2001029785, win 6379
14:17:03.977184 IP localhost.8972 > localhost.58526: Flags [.], ack 3652826898, win 6379
客户端往服务端发送rpc获取请求
14:17:03.977425 IP localhost.58526 > localhost.8972: Flags [P.], seq 3652826898:3652826961, ack 2001029785, win 6379
14:17:03.977440 IP localhost.8972 > localhost.58526: Flags [.], ack 3652826961, win 6378
服务端往客户端回复rpc数据
14:17:03.978268 IP localhost.8972 > localhost.58526: Flags [P.], seq 2001029785:2001029837, ack 3652826961
14:17:03.978283 IP localhost.58526 > localhost.8972: Flags [.], ack 2001029837, win 6378
TCP/IP 四次挥手
14:17:04.978001 IP localhost.58526 > localhost.8972: Flags [F.], seq 3652826961, ack 2001029837
14:17:04.978053 IP localhost.8972 > localhost.58526: Flags [.], ack 3652826962, win 6378
14:17:04.978236 IP localhost.8972 > localhost.58526: Flags [F.], seq 2001029837, ack 3652826962
14:17:04.978291 IP localhost.58526 > localhost.8972: Flags [.], ack 2001029838, win 6378localhost.58526 客户端
localhost.8972 服务端
从我么的12次请求中可以看到分别有几个部分：
（1）TCP/IP 三次握手
（2）客户端往服务端发送rpc获取请求
（3）服务端往客户端回复rpc数据
（4）TCP/IP 四次挥手
注意：四次挥手并不是每次都是这样的顺序，在双工下。或者是fin延迟情况下。4次挥手的顺序会有所变化。有兴趣可以去读一下TCP/IP原理。
5.2 rpc协议解析
先看看源代码：
server端：
package main
import (
"flag"
"fmt"
"github.com/smallnest/rpcx/server"
)
var (
addr = flag.String("addr", "0.0.0.0:8972", "server address")
)
type Args struct { //接收数据
A int
B int
}
type Reply struct { //回复数据
C int
}
type Arith int
//调用的方法
func (t *Arith) Mul(ctx context.Context, args *Args, reply *Reply) error {
reply.C = args.A * args.B
fmt.Printf("call: %d * %d = %d\n", args.A, args.B, reply.C)
return nil
}
func main() {
flag.Parse()
s := server.NewServer()
s.Register(new(Arith), "")
s.Serve("tcp", *addr)
}client端：
package main
import (
"context"
"flag"
"log"
"time"
example "github.com/rpcx-ecosystem/rpcx-examples3"
"github.com/smallnest/rpcx/client"
)
var (
addr2 = flag.String("addr", "127.0.0.1:8972", "server address")
)
func main() {
flag.Parse()
d := client.NewPeer2PeerDiscovery("tcp@"+*addr2, "")
xclient := client.NewXClient("Arith", client.Failtry, client.RandomSelect, d, client.DefaultOption)
defer xclient.Close()
args := &example.Args{ //发送数据
A: 10,
B: 20,
}
reply := &example.Reply{} //返回数据
call, err := xclient.Go(context.Background(), "Mul", args, reply, nil) //调用Mul方法
if err != nil {
log.Fatalf("failed to call: %v", err)
}
time.Sleep(1e9)
replyCall := <-call.Done
if replyCall.Error != nil {
log.Fatalf("failed to call: %v", replyCall.Error)
} else {
log.Printf("%d * %d = %d", args.A, args.B, reply.C)
}
}
返回结果A(10) * B(20) = C(200)
对应rpcx消息体结构体，对应文件rpcx/protocol/message.go
type Message struct {
*Header
ServicePath string
ServiceMethod string
Metadata map[string]string //设置授权密码时用到
Payload []byte
data []byte
}魔术数字，对应文件rpcx/protocol/message.go
const (
magicNumber byte = 0x08
)
func MagicNumber() byte {
return magicNumber
}client端request
server端Response
数据包：
总结：
1.tcp/ip的四次挥手并不是4次的顺序都是固定的。如果是双工或者是延迟发送，则顺序就不固定。
2.mac OS的链路层占用4个字节；
3.cap包数据包大小为链路层、网络层、传输层、应用层4个部分。ip头数据包大小为网络层、传输层、应用层3个部分。
4.链路层不同的网卡链路层占用字节大小不一样，以太网链路层为MAC帧头。
参考资料：
链路层类型
https://blog.csdn.net/shenwansangz/article/details/47612505
计算机网络-数据结构-MAC帧头-IP头-TCP头-UDP头
https://www.cnblogs.com/cs-lcy/p/7462072.html
IP头，TCP头，UDP头，MAC帧头定义
https://www.cnblogs.com/li-hao/archive/2011/12/07/2279912.html
tcpdump源码
https://github.com/the-tcpdump-group/tcpdump
rpcx源码
https://github.com/smallnest/rpcx
有疑问加站长微信联系（非本文作者）
