来自生成器的数据集，一次生成多个元素 - python

我正在测试是否需要从不推荐使用的基于队列的API迁移到TensorFlow中的Dataset API的领域。

我似乎找不到与之等效的一个用例是enqueue_many的tf.train.batch参数。

特别是，我想创建一个Python生成器，它可以产生“批处理”数组，其中“批处理大小”不必与用于SGD训练更新的数组相同，然后将批处理应用于该数据流（即与tf.train.batch中的enqueue_many一起使用）。

在新的数据集API中，有什么解决方法可以实现此目的？

参考方案

尝试使用平面图

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
n_reads=10
read_batch_size=20
training_batch_size = 2

def mnist_gen():
    mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)
    for i in range(n_reads):
        batch_x, batch_y = mnist.train.next_batch(read_batch_size)
        # Yielding a batch instead of single record
        yield batch_x,batch_y
data = tf.data.Dataset.from_generator(mnist_gen,output_types=(tf.float32,tf.float32))
data = data.flat_map(lambda *x: tf.data.Dataset.zip(tuple(map(tf.data.Dataset.from_tensor_slices,x)))).batch(training_batch_size)
# if u yield only batch_x change lambda function to data.flat_map(lambda x: tf.data.Dataset.from_tensor_slices(x)))
iter = data.make_one_shot_iterator()
next_item = iter.get_next()

X= next_item[0]
Y = next_item[1]

with tf.Session() as sess:
    for i in range(n_reads*read_batch_size // training_batch_size):
        print(i, sess.run(X))

Python GPU资源利用 - python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平？例如，使用着色器，float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢！ 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源，已用缓冲区，不同渲染状态上…

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…

python:ConfigParser对象，然后再阅读一次 - python

场景：我有一个配置文件，其中包含要执行的自动化测试的列表。这些测试是长期循环执行的。   配置文件的设计方式使ConfigParser可以读取它。由于有两个三个参数，因此我需要通过每个测试。现在，此配置文件由script(s1)调用，并且按照配置文件中的列表执行测试。Script(s1)第一次读取配置，并且在每次测试完成后都会执行。阅读两次的要求：由于可能会…

Python exchangelib在子文件夹中读取邮件 - python

我想从Outlook邮箱的子文件夹中读取邮件。Inbox ├──myfolder 我可以使用account.inbox.all()阅读收件箱，但我想阅读myfolder中的邮件我尝试了此页面folder部分中的内容，但无法正确完成https://pypi.python.org/pypi/exchangelib/ 参考方案 您需要首先掌握Folder的myfo…

Python Pickle调用构造函数 - python

我想使用Python的pickle序列化器提供缺少值的默认值。由于类很简单，因此默认值自然存在于类的__init__方法中。我从pickle documentation看到有__getnewargs__。但是，这仅适用于在“酸洗”之前存在__getnewargs__的情况。有什么方法可以让python pickle始终调用构造函数，而不是从未初始化的对象开始…