如何用加载本地数据库为tf.data.Dataset格式

云端的数据库存储在google的服务器,所以无法通过tfds.load('mnist', split='train')这样的方式直接从云端读取,而且tfds.load('mnist',split='train',data_dir='…')也无法实现本地加载。

下面简单描述如何从本地加载数据

 

一、MNIST数据库

 1. 通过gzip模块打开本地的train-images-idx3-ubyte.gz文件为numpy数据

 2. 通过tf.data.Dataset.from_tensor_slices读取numpy数据

 3.将image数据和label数据打包到一起,并分别打包的数据转换成字典

代码如下:(tf版本为2.12.0)

import gzip
import numpy as np
import tensorflow as tf

# 解压并读取图像数据为 numpy array
# 注意:根据你的idx3-ubyte文件的实际数据维度reshape,如下是28x28图像的例子
with gzip.open('train-images-idx3-ubyte.gz', 'rb') as f:
    images = np.frombuffer(f.read(), np.uint8, offset=16).reshape(-1, 28 * 28)

# 解压并读取标签数据为 numpy array
with gzip.open('train-labels-idx1-ubyte.gz', 'rb') as f:
    labels = np.frombuffer(f.read(), np.uint8, offset=8)

# 转换 numpy array 到TF数据集对象
dataset_images = tf.data.Dataset.from_tensor_slices(images)
dataset_labels = tf.data.Dataset.from_tensor_slices(labels)

# 组合图像和标签数据集到一起并变成字典形式
dataset = tf.data.Dataset.zip((dataset_images, dataset_labels))
dataset = dataset.map(lambda x, y: {"image": x, "label": y})

# 现在,你可以像之前示例代码一样处理dataset数据集:
for example in dataset.take(1):
    image, label = example['image'], example['label']

 

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...