网络编程（8）——字节序处理
2025-04-30 12:24:32 # C++ # 网络编程 #字节序 #大端序 #小端序 #网络序

八、day8

进行学习如何处理字节序问题。

参考：

恋恋风辰官方博客

visual studio配置C++ boost库_哔哩哔哩_bilibili

1）什么是字节序

字节序，就是大于一个字节类型的数据在内存中的存放顺序，一般分为以下两类：

  • 大端序（Big-Endian）：高位字节排放在内存的低地址端，低位字节排放在内存的高地址端
  • 小端序（Little-Endian）：低位字节排放在内存的低地址端，高位字节排放在内存的高地址端

举例：

假设我们有一个 16 进制数0x12345678（4 个字节）需要存储在内存中，按照大端序，它的存储方式如下：

  • 0x12（最高字节）存储在最低的内存地址处
  • 0x34 存储在下一个地址
  • 0x56 存储在再下一个地址
  • 0x78（最低字节）存储在最高的内存地址处

假设内存从地址0x1000开始，按照大端序的存储顺序会是：

1
2
3
4
5
地址        数据
0x1000      0x12
0x1001      0x34
0x1002      0x56
0x1003      0x78

同理，将该16进制数按照小端序的方式存储，那么它的存储方式如下：

  • 0x78（最低字节）存储在最低的内存地址处
  • 0x56 存储在下一个地址
  • 0x34 存储在再下一个地址
  • 0x12（最高字节）存储在最高的内存地址处

同样内存从地址 0x1000 开始，按照小端序的存储顺序会是：

1
2
3
4
5
地址        数据
0x1000      0x78
0x1001      0x56
0x1002      0x34
0x1003      0x12

由于不同的计算机使用的 CPU 架构会导致字节顺序不同，比如：

  • x86、MOS Technology 6502、Z80、VAX、PDP-11等处理器为小端序；
  • Motorola 6800、Motorola 68000、PowerPC 970、System/370、SPARC（除V9外）等处理器为大端序；
  • ARM、PowerPC（除PowerPC 970外）、DEC Alpha、SPARC V9、MIPS、PA-RISC及IA64的字节序是可配置的。

因此，在传输数据时需要对数据的字节序进行统一，以保证数据能够正常传输和解析，这就是网络字节序的作用。在网络通信过程中，通常使用的是大端序。这是因为早期的网络硬件大多采用了 Motorola 处理器，而 Motorola 处理器使用的是大端序。此外，大多数网络协议规定了网络字节序必须为大端序。因此，在进行网络编程时，需要将主机字节序转换为网络字节序，也就是将数据从本地字节序转换为大端序。可以使用诸如 htonl、htons、ntohl 和 ntohs 等函数来实现字节序转换操作。

综上所述，网络字节序的主要作用是统一不同计算机间的数据表示方式，以保证数据在网络中的正确传输和解析。

2）如何判断本机字节序

因为int类型通常占用4个字节，所以通过最低有效字节即可判断字节序。首先定义整数num，并赋值1，其二进制表示为：

1
00000000 00000000 00000000 00000001
  • 在 大端序中，最高有效字节（00000000）会存储在内存的最低地址处。
  • 在 小端序中，最低有效字节（00000001）会存储在内存的最低地址处。

所以通过 *(char*)&num == 1‘即可判断本机字节序类型：

  • &num: 这是 num 的地址，即 num 在内存中的起始位置。
  • (char)&num: 将 num 的地址强制转换为 char* 类型。char 通常是 1 字节（8 位），这意味着现在我们可以通过 char* 来逐字节（int类型占用4个字节，被强制转换为char*之后，char*代表低地址的内存快）访问 num 在内存中的内容。
  • char)&num: 通过解引用（*）char* 指针，获得 num 在最低地址处的那个字节（因为 char* 只访问 1 字节）。

如果这个最低地址的字节是 1，说明最低有效字节（00000001）存储在最低的内存地址，因此系统是 小端序。如果最低地址的字节不是 1，那么系统是 大端序。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
bool is_big_endian() {
    int num = 1;
    if (*(char*)&num == 1) {
        // 当前系统为小端序
        return false;
    } else {
        // 当前系统为大端序
        return true;
    }
}

int main() {
    int num = 0x12345678;
    char* p = (char*)#
    cout << "原始数据：" << hex << num << endl;
    if (is_big_endian()) {
        cout << "当前系统为大端序" << endl;
        cout << "字节序为：";
        for (int i = 0; i < sizeof(num); i++) {
            cout << hex << (int)*(p + i) << " ";
        }
        cout << endl;
    } else {
        cout << "当前系统为小端序" << endl;
        cout << "字节序为：";
        for (int i = sizeof(num) - 1; i >= 0; i--) {
            cout << hex << (int)*(p + i) << " ";
        }
        cout << endl;
    }
    return 0;
}

在上述代码中，使用了一个 is_big_endian() 函数来判断当前系统的字节序是否为大端序。该函数通过创建一个整型变量 num，并将其最低位设置为 1，然后通过指针强制转换成字符指针，判断第一个字节是否为 1 来判断当前系统的字节序。

在 main 函数中，定义了一个整型变量 num，并将其初始化为 0x12345678。接着，使用 char* 类型的指针 p 来指向 num 的地址。然后，通过判断当前系统的字节序来输出 num 的字节序。

如果当前系统为大端序，则按照原始顺序输出各个字节；如果当前系统为小端序，则需要逆序输出各个字节。例如，如果当前系统为大端序，则输出结果为：

1
2
3
4
原始数据：12345678
当前系统为大端序
字节序为：12 34 56 78
地址：0x00 0x01 0x02 0x03

如果当前系统为小端序，则输出结果为：

1
2
3
4
原始数据：12345678
当前系统为小端序
字节序为：78 56 34 12
地址：0x00 0x01 0x02 0x03

3）服务器使用网络字节序

为保证字节序一致性，网络传输使用网络字节序，也就是大端模式。

在 boost::asio 库中，可以使用 boost::asio::detail::socket_ops::host_to_network_long() 和 boost::asio::detail::socket_ops::host_to_network_short() 函数将主机字节序转换为网络字节序。具体方法如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#include <boost/asio.hpp>
#include <iostream>
int main()
{
    uint32_t host_long_value = 0x12345678;
    uint16_t host_short_value = 0x5678;
    uint32_t network_long_value = boost::asio::detail::socket_ops::host_to_network_long(host_long_value);
    uint16_t network_short_value = boost::asio::detail::socket_ops::host_to_network_short(host_short_value);
    std::cout << "Host long value: 0x" << std::hex << host_long_value << std::endl;
    std::cout << "Network long value: 0x" << std::hex << network_long_value << std::endl;
    std::cout << "Host short value: 0x" << std::hex << host_short_value << std::endl;
    std::cout << "Network short value: 0x" << std::hex << network_short_value << std::endl;
    return 0;
}

上述代码中，使用了 boost::asio::detail::socket_ops::host_to_network_long() 和 boost::asio::detail::socket_ops::host_to_network_short() 函数将主机字节序转换为网络字节序。

host_to_network_long() 函数将一个 32 位无符号整数从主机字节序转换为网络字节序，返回转换后的结果。host_to_network_short() 函数将一个 16 位无符号整数从主机字节序转换为网络字节序，返回转换后的结果。

在上述代码中，分别将 32 位和 16 位的主机字节序数值转换为网络字节序，并输出转换结果。需要注意的是，在使用这些函数时，应该确保输入参数和返回结果都是无符号整数类型，否则可能会出现错误。同样的道理，我们只需要在服务器发送数据时，将数据长度转化为网络字节序，在接收数据时，将长度转为本机字节序。在服务器的HandleRead函数里，添加对data_len的转换，将网络字节转为本地字节序

1
2
3
4
5
short data_len = 0;
memcpy(&data_len, _recv_head_node->_data, HEAD_LENGTH);
//网络字节序转化为本地字节序
data_len=boost::asio::detail::socket_ops::network_to_host_short(data_len);
cout << "data_len is " << data_len << endl;

boost::asio::detail::socket_ops::network_to_host_short()函数将网络字节转换为本机字节序。

在服务器的发送数据时会构造消息节点，构造消息节点时，将发送长度由本地字节序转化为网络字节序。

注意，仅有需要两个参数的消息节点构造函数（写节点）才需要构造消息节点时，将发送长度由本地字节序转化为网络字节序，因为需要把转换为大端序的数据长度记录在头节点发出去；有一个参数的消息节点构造函数（读节点）不需要进行转换。

1
2
3
4
5
6
7
8
MsgNode(char * msg, short max_len):_total_len(max_len + HEAD_LENGTH),_cur_len(0){
    _data = new char[_total_len+1]();
    //转为网络字节序
    int max_len_host = boost::asio::detail::socket_ops::host_to_network_short(max_len);
    memcpy(_data, &max_len_host, HEAD_LENGTH);
    memcpy(_data+ HEAD_LENGTH, msg, max_len);
    _data[_total_len] = '\0';
}

客户端也遵循同样的处理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
#include <iostream>
#include <boost/asio.hpp>
#include <thread>
using namespace std;
using namespace boost::asio::ip;
const int MAX_LENGTH = 1024 * 2;
const int HEAD_LENGTH = 2;
int main()
{
	try {
		//创建上下文服务
		boost::asio::io_context   ioc;
		//构造endpoint
		tcp::endpoint  remote_ep(address::from_string("127.0.0.1"), 10086);
		tcp::socket  sock(ioc);
		boost::system::error_code   error = boost::asio::error::host_not_found; ;
		sock.connect(remote_ep, error);
		if (error) {
			cout << "connect failed, code is " << error.value() << " error msg is " << error.message();
			return 0;
		}

		// 发送线程，不断发送hello world
		thread send_thread([&sock] {
			for (;;) {
				this_thread::sleep_for(std::chrono::milliseconds(2));
				const char* request = "hello world!";
				size_t request_length = strlen(request);
				char send_data[MAX_LENGTH] = { 0 };
				//转为网络字节序
				short request_host_length = boost::asio::detail::socket_ops::host_to_network_short(request_length);
				memcpy(send_data, &request_host_length, 2);
				memcpy(send_data + 2, request, request_length);
				boost::asio::write(sock, boost::asio::buffer(send_data, request_length + 2));
			}
			});

		// 接收线程，不断接收
		thread recv_thread([&sock] {
			for (;;) {
				this_thread::sleep_for(std::chrono::milliseconds(2));
				cout << "begin to receive..." << endl;
				char reply_head[HEAD_LENGTH];
				size_t reply_length = boost::asio::read(sock, boost::asio::buffer(reply_head, HEAD_LENGTH));
				short msglen = 0;
				memcpy(&msglen, reply_head, HEAD_LENGTH);
				//转为本地字节序
				msglen = boost::asio::detail::socket_ops::network_to_host_short(msglen);
				char msg[MAX_LENGTH] = { 0 };
				size_t  msg_length = boost::asio::read(sock, boost::asio::buffer(msg, msglen));

				std::cout << "Reply is: ";
				std::cout.write(msg, msglen) << endl;
				std::cout << "Reply len is " << msglen;
				std::cout << "\n";
			}
			});

		send_thread.join();
		recv_thread.join();
	}
	catch (std::exception& e) {
		std::cerr << "Exception: " << e.what() << endl;
	}
	return 0;
}

4）消息队列控制

发送时我们会将发送的消息放入队列里以保证发送的时序性，每个session都有一个发送队列，因为有的时候发送的频率过高会导致队列增大，所以要对队列的大小做限制，当队列大于指定数量的长度时，就丢弃要发送的数据包，以保证消息的快速收发。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
const short MAX_SENDQUE = 1000;

void CSession::Send(char* msg, int max_length) {
	bool pending = false; // 发送标志，true时有未完成的发送操作，false为空
	// 使用lock_guard锁住_send_lock，确保_send_lock（发送队列）访问的线程安全的
	// 锁的存在确保了多个线程不会同时修改发送队列
	std::lock_guard<std::mutex> lock(_send_lock);
	int send_que_size = _send_que.size();
	if (send_que_size > MAX_SENDQUE) {
		cout << "session: " << _uuid << " send que fulled, size is " << MAX_SENDQUE << endl;
		return;
	}

	// 判断队列是否有未完成的发送操作
	if (_send_que.size() > 0) {
		pending = true;
	}
	_send_que.push(std::make_shared<MsgNode>(msg, max_length)); // 将发送消息存储至队列
	if (pending) { // 如果有未完成的发送，直接返回
		return;
	}
	// 异步发送
	auto& msgnode = _send_que.front();
	boost::asio::async_write(_socket, boost::asio::buffer(msgnode->_msg, msgnode->_total_len),
		std::bind(&CSession::haddle_write, this, std::placeholders::_1, shared_from_this()));
} // 当'}'结束后，_send_lock解锁，发送队列解锁

点击并拖拽以移动

上一页
2025-04-30 12:24:32 # C++ # 网络编程 #字节序 #大端序 #小端序 #网络序
下一页