新闻中心

Python中解析C/C++嵌套结构体数组:ctypes与struct模块实践

2025-11-18
浏览次数:
返回列表

Python中解析C/C++嵌套结构体数组:ctypes与struct模块实践

本教程详细介绍了#%#$#%@%@%$#%$#%#%#$%@_23eeeb4347bdd26bfc++6b7ee9a3b755dd解析从c/c++通过网络传输的嵌套结构体数据的方法,尤其针对包含数组指针的复杂场景。文章提供了两种策略:利用ctypes模块精确映射c结构体并手动处理指针和数组;或采用纯python的struct模块进行高效数据解包并构建python对象。通过示例,读者将掌握c数据序列化与python反序列化的关键技术,应对跨语言数据通信挑战。

在跨语言通信(如C/C++与Python之间)中,通过网络传输复杂数据结构是一个常见需求。当C/C++结构体包含指向数组的指针时,直接传输内存中的结构体数据并不能正确地将数组内容一并发送。本文将深入探讨如何正确地序列化C/C++中包含嵌套结构体数组的数据,并在Python端使用ctypes或struct模块进行有效的反序列化。

C/C++数据结构与网络传输的挑战

C/C++中的结构体在内存中是连续存储的,但当结构体成员是指针时,它存储的仅仅是另一个内存地址,而不是实际的数据内容。例如,一个struct MyStruct中包含MyInnerStruct *InnerStruct;,如果InnerStruct指向一个数组,那么sizeof(MyStruct)只包含指针本身的大小,而不包括InnerStruct所指向的数组数据。

原始的C++发送代码中:

// Serialize the struct into a byte stream
char buffer[sizeof(MyStruct)];
memcpy(buffer, &testStruct, sizeof(MyStruct));
// Send the serialized struct over the UDP socket
if (sendto(udpSocket, buffer, sizeof(MyStruct), ...) == -1) { ... }

这种做法的问题在于,它只复制了testStruct自身(包括InnerStruct指针的值,即一个内存地址),而没有复制InnerStruct指向的MyInnerStruct数组的实际内容。在接收端,这个指针地址在Python进程中是无效的,因此无法直接通过ctypes解引用获取数组数据。

正确的序列化策略是,在发送端,需要将主结构体的固定大小字段和其指向的数组元素数据分别或按序组合成一个连续的字节流进行发送。例如,先发送MyStruct的intValue和floatValue,然后紧接着发送MyInnerStruct数组中的每一个元素。

为了演示正确的发送方式,我们可以使用Python的struct模块模拟一个符合这种序列化规则的数据包:

import struct
import socket

# 模拟发送数据:
# field1=4 (int), field2=3.5 (float)
# 接着是4个MyInnerStruct元素,每个包含一个int和一个float
data = struct.pack('<ififififif', 4, 3.5, 1, 1.25, 2, 2.5, 3, 2.75, 4, 3.00)

with socket.socket(type=socket.SOCK_DGRAM) as s:
    s.sendto(data, ('localhost', 5000))

上述代码构造了一个字节流,其中包含了主结构体的两个字段,以及其后紧跟着的四个内部结构体实例的数据。

方法一:利用 ctypes 精确映射与解析

ctypes模块允许Python代码与C库进行交互,并能够精确地映射C语言的数据结构。然而,处理C结构体中的指针(特别是指向数组的指针)需要更细致的操作。

Whimsical Whimsical

Whimsical推出的AI思维导图工具

Whimsical 182 查看详情 Whimsical

Python ctypes 结构体定义

首先,在Python中定义与C结构体对应的ctypes.Structure:

import ctypes as ct

class MyInnerStruct(ct.Structure):
    _fields_ = (('field4', ct.c_int),
                ('field5', ct.c_float))
    def __repr__(self):  # 用于方便显示
        return f'({self.field4}, {self.field5})'

class MyStruct(ct.Structure):
    _fields_ = (('field1', ct.c_int),
                ('field2', ct.c_float),
                ('field3', ct.POINTER(MyInnerStruct))) # 注意这里是POINTER
    def __repr__(self):  # 用于方便显示
        # field3 是一个指针,需要切片才能作为数组访问
        return f'[{self.field1}, {self.field2}, {list(self.field3[:self.field1])})]'

这里MyStruct的field3被定义为ct.POINTER(MyInnerStruct),表示它是一个指向MyInnerStruct的指针。

接收与解包策略

由于网络传输的字节流是扁平的,Python端需要手动解析这个字节流,将数据填充到ctypes结构体中。核心步骤包括:

  1. 接收数据:通过UDP套接字接收完整的字节流。
  2. 解包主结构体字段:使用struct.unpack_from解包字节流开头的field1和field2。
  3. 初始化主结构体:使用解包出的field1和field2初始化MyStruct实例。此时field3(指针)仍为空或无效。
  4. 动态分配内部结构体数组:根据field1的值(表示数组长度),动态创建一个MyInnerStruct类型的ctypes数组。
  5. 循环解包并填充数组:从字节流中field1和field2之后的位置开始,循环解包每个MyInnerStruct的字段,并将其赋值给动态创建的ctypes数组的对应元素。
  6. 关联指针:将动态创建的ctypes数组赋值给MyStruct实例的field3指针。

示例代码 (Python 接收端)

import socket
import struct
import ctypes as ct

class MyInnerStruct(ct.Structure):
    _fields_ = (('field4', ct.c_int),
                ('field5', ct.c_float))
    def __repr__(self):
        return f'({self.field4}, {self.field5})'

class MyStruct(ct.Structure):
    _fields_ = (('field1', ct.c_int),
                ('field2', ct.c_float),
                ('field3', ct.POINTER(MyInnerStruct)))
    def __repr__(self):
        return f'[{self.field1}, {self.field2}, {list(self.field3[:self.field1])})]'

sock = socket.socket(type=socket.SOCK_DGRAM)
sock.bind(('', 5000)) # 绑定到本地所有接口的5000端口

print("等待接收数据...")
data, addr = sock.recvfrom(40960) # 接收数据,缓冲区大小足够大

# 1. 解包主结构体的前两个字段
field1, field2 = struct.unpack_from('<if', data)

# 2. 初始化MyStruct实例,此时field3指针为空
received_struct = MyStruct(field1, field2)

# 3. 动态分配内部结构体数组
inner_array = (MyInnerStruct * field1)() # 创建一个MyInnerStruct类型的数组,长度为field1

# 4. 计算内部结构体数据在字节流中的起始位置和大小
start_of_inner = struct.calcsize('if') # 主结构体前两个字段的大小
size_of_inner_element = struct.calcsize('if') # 单个MyInnerStruct元素的大小

# 5. 循环解包并填充数组
index = start_of_inner
for i in range(field1):
    # 从当前索引位置解包一个MyInnerStruct的字段
    field4, field5 = struct.unpack_from('<if', data[index:])
    inner_array[i] = MyInnerStruct(field4, field5) # 赋值给数组元素
    index += size_of_inner_element # 移动到下一个元素的起始位置

# 6. 关联指针:将填充好的数组赋值给MyStruct的field3指针
received_struct.field3 = inner_array

print("接收到的结构体:", received_struct)
sock.close()

运行上述接收代码,然后运行之前模拟的发送代码,将得到类似如下输出:

等待接收数据...
接收到的结构体: [4, 3.5, [(1, 1.25), (2, 2.5), (3, 2.75), (4, 3.0)])]

注意事项

  • 内存管理:ctypes在Python中创建的C类型对象由Python垃圾回收机制管理,但在某些复杂场景下仍需注意生命周期。
  • 数据对齐与字节序:确保C/C++发送端和Python接收端的结构体定义、数据对齐方式(_pack_属性)和字节序(如
  • 指针有效性:在网络传输中,指针地址本身是无意义的。必须传输指针所指向的实际数据,并在接收端重新构建数据结构。

方法二:纯 Python struct 模块解析(推荐)

对于许多跨语言数据交换场景,特别是当不需要直接调用C库函数时,放弃ctypes而直接使用Python的struct模块来解析字节流,并构建纯Python对象,会更加简洁、高效且易于维护。这种方法避免了ctypes在Python对象和C类型之间进行映射的开销和复杂性。

优势与适用场景

  • 简洁性:无需定义ctypes.Structure,直接使用struct进行解包。
  • 效率:避免了ctypes的类型转换开销。
  • 灵活性:更容易将解析后的数据转换为标准的Python数据类型(如列表、字典),方便后续处理。
  • 适用场景:主要用于数据序列化和反序列化,不涉及直接调用C库函数。

Python类设计与数据解析逻辑

我们可以定义纯Python类来表示C结构体,并在这些类中实现从字节流解析数据的方法。

import socket
import struct

class MyInnerStruct:
    _format = '<if'  # 内部结构体的格式字符串:int, float
    _size = struct.calcsize(_format) # 计算内部结构体序列化后的大小

    def __init__(self, f4, f5):
        self.field4 = f4
        self.field5 = f5

    @classmethod
    def from_data(cls, data):
        """从字节数据中解析单个MyInnerStruct实例"""
        return cls(*struct.unpack_from(cls._format, data))

    @classmethod
    def from_data_array(cls, data, count, offset=0):
        """从字节数据中解析MyInnerStruct数组"""
        inner_structs = []
        current_offset = offset
        for _ in range(count):
            # 每次从当前偏移量开始解包一个MyInnerStruct
            inner_structs.append(cls(*struct.unpack_from(cls._format, data, current_offset)))
            current_offset += cls._size
        return inner_structs

    def __repr__(self):
        return f'[{self.field4}, {self.field5}]'

class MyStruct:
    _format = '<if'  # 主结构体的格式字符串:int, float
    _size = struct.calcsize(_format) # 计算主结构体序列化后的大小

    def __init__(self, f1, f2, inner_struct_array):
        self.field1 = f1
        self.field2 = f2
        self.field3 = inner_struct_array # field3直接存储Python对象数组

    @classmethod
    def from_data(cls, data):
        """从完整的字节数据中解析MyStruct实例及其内部数组"""
        # 先解包主结构体的字段
        field1, field2 = struct.unpack_from(cls._format, data)
        # 然后从主结构体数据之后的位置开始解析内部结构体数组
        inner_struct_array = MyInnerStruct.from_data_array(data, field1, offset=cls._size)
        return cls(field1, field2, inner_struct_array)

    def __repr__(self):
        return f'[{self.field1}, {self.field2}, {self.field3}]'

示例代码 (Python 接收端)

import socket
import struct

# MyInnerStruct 和 MyStruct 的类定义同上

sock = socket.socket(type=socket.SOCK_DGRAM)
sock.bind(('', 5000))

print("等待接收数据...")
data, addr = sock.recvfrom(40960)

# 直接调用MyStruct的from_data类方法来解析整个数据包
received_struct = MyStruct.from_data(data)
print("接收到的结构体:", received_struct)

sock.close()

运行上述接收代码,然后运行之前模拟的发送代码,将得到与ctypes方案相同的输出:

等待接收数据...
接收到的结构体: [4, 3.5, [[1, 1.25], [2, 2.5], [3, 2.75], [4, 3.0]]]

比较与选择

  • ctypes
    • 优点:能够精确映射C

以上就是Python中解析C/C++嵌套结构体数组:ctypes与struct模块实践的详细内容,更多请关注其它相关文章!


# 创建一个  # 阿勒泰网站建设哪家强  # 网站建设专业制作团队  # SEO培训课图片  # 赣州国外网站建设  # 汉口电商营销推广推荐  # 南京广告推广网站  # 手机网站建设和维护  # 丽水关键词排名优化报名  # 深圳抖音营销推广案例  # 搜霸安哥网站建设推广  # 如何做  # 正确地  # 数据包  # python  # 直接调用  # 是一个  # 并在  # 网络传输  # 序列化  # 数据结构  # stream  # c++  # 端口  # 字节  # app  # c语言 


相关栏目: 【 科技资讯46185 】 【 网络学院92790


相关推荐: 圆通快递查询实时追踪 圆通物流包裹状态快速查看  KFC套餐升级怎么获取优惠代码_KFC套餐升级活动与优惠代码获取方法  学习通在线学习平台 学习通网页版直接进入课程中心  PDF怎么合并PDF并保持格式_PDF合并文件保持排版教程  css卡片内容溢出如何处理_使用overflow隐藏或scroll显示内容  在J*a中如何开发简易仓库管理与库存统计_仓库管理库存统计项目实战解析  期待已久:小米17 Ultra、小米首款NAS本月登场  《刺客信条4:黑旗》重制版新细节曝光:无缝加载 地图更细致!  AO3网页版最新入口合集 Archive of Our Own在线访问指南  机构:以往存储涨价周期小米利润率实际上有所改善 能转嫁给消费者等  Golang如何实现微服务鉴权与权限控制_Golang微服务鉴权与权限管理实践  如何使用 Excel 发布器与 Power BI 分享 Excel 洞察  知乎APP怎么管理已购盐选内容_知乎APP盐选内容购买记录与查看方法  痛风发作了怎么办? 快速止痛和后期饮食调理  12306怎么选座位选到安静区_12306选座安静区域选择策略  TikTok搜索不到用户发布内容怎么办 TikTok用户内容搜索优化方法  神经网络二分类模型训练异常:高损失与完美验证准确率的排查与修正  响应式图片在网页设计中的正确实现方法  j*a toString()的覆盖  QQ邮箱电脑版登录入口_QQ邮箱官方网站登录平台  可靠CSGO开箱平台解析 CSGO开箱网合集  深入理解J*a链表中的IPosition接口与使用  R星幕后开发视频泄露 包含《GTA6》等多款大作  Python中高效访问嵌套字典与列表中的键值对  win11如何卸载Windows更新补丁 Win11解决更新导致系统不稳定的问题【修复】  解决macOS上安装pyhdf时‘hdf.h’文件缺失的编译错误  AO3官网镜像链接 Archive of Our Own同人文在线浏览  AI抖音网页版免费视频入口 AI抖音网页端最新视频实时观看  不同用户不同价格! 索尼开启账户个性化定价测试  React Router v6 教程:构建认证保护的私有路由与重定向策略  c++ dfs和bfs代码 c++深度广度优先搜索算法  C++编译期如何执行复杂计算_C++模板元编程(TMP)技巧与应用  Kafka Streams中基于消息头条件过滤消息的实现指南  《GTA6》开发画面疑似泄露!这次可不是AI了  漫蛙MANWA漫画主页官方入口 漫蛙漫画最新在线阅读地址  顺丰快件物流信息 官方网站查询入口  如何设置Windows Defender的定时扫描_计划任务实现自动杀毒【安全】  优化大型XML文件解析:基于Python流式处理的内存高效方案  Android Studio计算器C键功能异常排查与修复教程  晋江读书网页版在线登录 晋江读书电脑版官网  抓大鹅解压小游戏 抓大鹅摸鱼解压入口  抖音未来赚钱的新趋势 2025年值得关注的变现风口分析  Pandas DataFrame:高效添加条件计算列  冬*霸灯泡不亮怎么办_浴霸取暖灯一盏不亮的灯座清洁修复法  Mac终端命令大全_Mac常用Terminal指令速查  小米Civi 4录制视频过暗_小米Civi 4亮度优化  优化Django表单:提交验证失败后保留用户输入  谷歌google账号怎么注册账号 谷歌账号注册官方流程  QQ邮箱官方网站登录入口_QQ邮箱网页版在线使用  windows10怎么关闭系统提示音_windows10彻底静音设置方法 

搜索