我是protobuf的新手。我需要序列化类似图的结构，并在C++和Python客户端之间共享它。
我正在尝试应用protobuf，因为:
但是Protobuf用户指南说:
协议缓冲区不适用于处理大消息。作为一个
一般经验法则，如果您处理的消息大于
每兆字节，可能是时候考虑替代策略了。
https://developers.google.com/protocol-buffers/docs/techniques#large-data
我有类似图的结构，有时大小可达1 Gb，远远超过1 Mb。
为什么protobuf不利于序列化大型数据集？我应该怎么用呢？
参考方案
这只是一般性指导，因此并不适用于所有情况。例如，OpenStreetMap项目的地图使用基于协议缓冲区的文件格式，文件大小通常为10-100 GB。另一个示例是Google自己的TensorFlow，它使用protobuf，并且它存储的图形通常最大为1 GB。
但是，OpenStreetMap并没有将整个文件作为一条消息显示。相反，它包含成千上万条单独的消息，每条消息都编码了地图的一部分。您可以应用类似的方法，以便每条消息仅编码例如一个节点。
protobuf用于大文件的主要问题是它不支持随机访问。即使您只想访问特定项目，也必须阅读整个文件。如果您的应用程序仍将整个文件读取到内存中，这不是问题。这就是TensorFlow的工作，它似乎将所有内容存储在一条消息中。
如果您需要一种跨多种语言兼容的随机访问格式，建议使用HDF5或sqlite。
Python GPU资源利用 - python我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平？例如，使用着色器，float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢！ 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源，已用缓冲区，不同渲染状态上…
Python:图像处理可产生皱纹纸效果 - python也许很难描述我的问题。我正在寻找Python中的算法，以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像（具有透明度）。看起来不错，但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案，有什么想法吗？谢谢 参考方案 除了使用透明性之外，假设您有两张相同尺寸的图像，一张在皱纹纸上明亮，一张在白色背景上有深…
Python uuid4，如何限制唯一字符的长度 - python在Python中，我正在使用uuid4（）方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗？uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试：x = uuid4() str(x)[:8] 输出："ffc69c1b" Is there a way to…
Python sqlite3数据库已锁定 - python我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…
Python:如何停止多线程的numpy？ - python我知道这似乎是一个荒谬的问题，但是我必须在与部门中其他人共享的计算服务器上定期运行作业，当我开始10个作业时，我真的希望它只占用10个核心而不是更多;我不在乎每次运行一个内核所需的时间是否更长:我只是不想让它侵犯其他人的领土，这将需要我放弃工作等等。我只想拥有10个核心，仅此而已。更具体地说，我在基于Python 2.7.3和numpy 1.6.1的Redh…