标签：tensorflow-datasets
-
如何使用tf.data.Dataset.apply()重塑数据集 - python
我正在使用张量流中的时间序列模型。我的数据集包含物理信号。我需要将此信号划分为多个窗口，以将此切成薄片的窗口作为模型输入。 这是我读取数据并对其进行切片的方式： import tensorflow as tf import numpy as np def _ds_slicer(data): win_len = 768 return {"mix� […]
-
Tensorflow:具有num_parallel_calls的数据集映射没有加速 - python
我正在使用TensorFlow和tf.data.Dataset API执行一些文本预处理。在我的num_parallel_calls调用中不使用dataset.map时，预处理10K记录需要0.03s。 当我使用num_parallel_trials=8（计算机上的内核数）时，也需要0.03s来预处理10K记录。 我四处搜寻，发现了以下内容：Parallel […]
-
来自生成器的数据集，一次生成多个元素 - python
我正在测试是否需要从不推荐使用的基于队列的API迁移到TensorFlow中的Dataset API的领域。 我似乎找不到与之等效的一个用例是enqueue_many的tf.train.batch参数。 特别是，我想创建一个Python生成器，它可以产生“批处理”数组，其中“批处理大小”不必与用于SGD训练更新的数组相同，然后将批处理应用于该数据流（即与tf […]
-
使用tensorflow_datasets.load(TF 2.1)拆分训练数据以进行训练和验证 - python
我正在尝试运行以下Colab项目，但是当我想将训练数据分为验证和训练部分时，出现此错误： KeyError: "Invalid split train[:70%]. Available splits are: ['train']" 我使用以下代码： (training_set, validation_set), dat […]