图像分类数据集(Fashion-MNIST) 讨论区

http://zh.diveintodeeplearning.org/chapter_deep-learning-basics/fashion-mnist.html

各位大神们,我问一下怎么把这里的get_fashion_mnist_labels和show_fashion_mnist函数均将保存在gluonbook里,以便后面再次调用呢???
我一直找不到这个gluonbook文件,我电脑里有好多

gluonbook代码指的是:

这里是获取全书代码的教程:
http://zh.gluon.ai/chapter_prerequisite/install.html

请问我的出现这个是什么问题?
ModuleNotFoundError Traceback (most recent call last)
in ()
4 import sys
5 import time
----> 6 import gluonbook as gb
7 from mxnet.gluon import data as gdata

ModuleNotFoundError: No module named ‘gluonbook’

方法1:

在代码中加

import sys
sys.path.insert(0, '..')

并且在代码的上一级添加gluonbook源文件:

gluonbook/__init__.py
gluonbook/utils.py

https://github.com/mli/gluon-tutorials-zh/tree/master/gluonbook

方法二:

pip install gluonbook

1赞

在kaggle里面找不到gluonbook模块要怎么导入呢?

好的,谢谢版主

请问,教程中读取Fashion-MNIST数据集用的是gdata.vision.FashionMNIST函数,会自动从网上获取数据。
如果我已经将数据集下载到计算机上,需要如何修改代码直接读取呢?
已经试过给定root参数为本机的数据集路径,但是还是会重新下载

需要放在源码所在路径


不明白这是什么问题,不懂求助

如果你用windows,得把num_workers=0

好的,谢谢版主

改变batch size是会影响读取性能的,但是为什么呢?是因为迭代次数改变了吗?

我想,batch_size越大,需要塞入记忆体中的图片越多,需要花费的时间自然也就越多

batch_size=1时比100时要慢10倍左右,这又是为什么?

batch_size=1时比100时要慢10倍左右,这又是为什么?

那是因为现在的gpu有强大的并行处理能力,batch_size大代表

  1. gpu可以同时处理多张图片
  2. 将图片塞入ram及搬运到gpu的记忆体的时间会增加

由于1所省下的时间远大于2,所以batch_size增加可以提升计算速度

之前忘了考虑第一项因素了,抱歉
以上的推论仅限于gpu,如果你是用cpu训练的话,我就不晓得mxnet会如何处理了

我也遇到这个问题,想用之前下载好的数据集直接使用。但是由于MXNet的MNIST数据集读取的机制会去验证数据集的正确性,所以我使用的用keras下载的数据集放到相关位置,MXNet还是还是会去下载。
解决方法,我用MXNet下载了好了fashion-mnist数据集,上传了,大家可以直接下载到相应位置解压即可。
也可以从采用自定义位置的方式 :mnist_train = gl.data.vision.FashionMNIST(root=“fashion-mnist/”,train=True)
只需放到编写代码处解压即可。。
下载地址:https://download.csdn.net/download/xiaosongshine/10919080

2赞

您好,请问你如何放到编写代码处呢?我理解为这个root就是我下载的数据集的目录,可以我这么输入,他还是要下载

root是需要存放的路径,注意不要放错
建议下载我上传的数据集
这是通过MXNet下载的,检测可以通过,如果是采用其他方式下载的,检验文件的时候可能会出错导致重新下载

下载的文件的格式是tar.gz格式的,也就是linux下的压缩包文件.这个root命令是存放压缩包解压之后的文件的,不是下载的存放路径.下载的默认路径只要去翻一下代码就知道了,正如astonzhang说的,是base.data_dir()这个路径.他说是源代码路径,也就是你的mxnet文件夹.
但其实实际有时候由于一些问题,比如我这里mxnet并没有加入环境变量,所以下载的默认路径就是home/usr(这个usr就是你自己的用户名)/.mxnet. mxnet前面的.表示它是隐藏文件夹,你要使用ctrl+h查看.
换句话说,如果你和我一样,mxnet并没有加入环境变量,那么就在home/usr/.mxnet/datasets/fashion-mnist下面放入下载好的四个文件,就可以了.
还有一点就是,如果你是从官网或者其他地方下载的数据集,由于mxnet下载时用到了哈希校验,有时候无法通过.所以最好还是用mxnet下载好的数据集.