微调 讨论区


#81

@fiercex @eureka @huliang2016 非常感谢各位的回复 抱拳了 老哥 :+1::+1::+1::+1: 刚才试了下@fiercex和@eureka 的方法都可以
@huliang2016 的方法保存还是会报错


#82

@mli @piiswrong
我看这个里面提到hotdog index是934,为什么教程里写到是713呢?怎么查到完整的版本?


#83

我也遇到像之前幾位朋友一樣的問題

當我沒有調整任何東西直接使用CPU進行訓練的時候,
所跑出來的test acc都在50%左右,
所有東西不變動的情況下直接使用GPU進行訓練,
test acc才會像範例那樣9X%

想問一下是什麼原因會造成用CPU跟GPU有如此明顯差異


#84

应该是pretrained=True,不是pretrained_net=True


#85

别用resnet18_v2版本在cpu上训练,用resnet18_v1 版本就不会出现过拟合这种情况;具体情况应该是和BN的位置有关(resnet两个版本的设计结构有关)


#86

win10 也可以这么做?


#87

你是说建立环境变量加速下载吗,win可以的,你在环境变量里新建一个,然后值就是那个网址就行了。用命令行也可以,但是我不会


#88

执行一下教程代码:
from mxnet import gluon
import zipfile

data_dir = ‘…/data’
fname = gluon.utils.download(
https://apache-mxnet.s3-accelerate.amazonaws.com/gluon/dataset/hotdog.zip’,
path=data_dir, sha1_hash=‘fba480ffa8aa7e0febbb511d181409f899b9baa5’)

with zipfile.ZipFile(fname, ‘r’) as f:
f.extractall(data_dir)

然后一直在Downloading ,请问怎么解决?


#89

看了 安装和使用 里的使用国内镜像加速之后出现了这个问题 :Downloading …/data from https://apache-mxnet.s3-accelerate.amazonaws.com/gluon/dataset/hotdog.zip

SSLError Traceback (most recent call last)
in ()
5 fname = gluon.utils.download(
6 ‘https://apache-mxnet.s3-accelerate.amazonaws.com/gluon/dataset/hotdog.zip’,
----> 7 path=data_dir, sha1_hash=‘fba480ffa8aa7e0febbb511d181409f899b9baa5’)
8
9 with zipfile.ZipFile(fname, ‘r’) as f:

D:\Program Files (x86)\Anaconda2\lib\site-packages\mxnet\gluon\utils.pyc in download(url, path, overwrite, sha1_hash)
204
205 print(‘Downloading %s from %s…’%(fname, url))
–> 206 r = requests.get(url, stream=True)
207 if r.status_code != 200:
208 raise RuntimeError(“Failed downloading url %s”%url)

D:\Program Files (x86)\Anaconda2\lib\site-packages\requests\api.pyc in get(url, params, **kwargs)
70
71 kwargs.setdefault(‘allow_redirects’, True)
—> 72 return request(‘get’, url, params=params, **kwargs)
73
74

D:\Program Files (x86)\Anaconda2\lib\site-packages\requests\api.pyc in request(method, url, **kwargs)
56 # cases, and look like a memory leak in others.
57 with sessions.Session() as session:
—> 58 return session.request(method=method, url=url, **kwargs)
59
60

D:\Program Files (x86)\Anaconda2\lib\site-packages\requests\sessions.pyc in request(self, method, url, params, data, headers, cookies, files, auth, timeout, allow_redirects, proxies, hooks, stream, verify, cert, json)
506 }
507 send_kwargs.update(settings)
–> 508 resp = self.send(prep, **send_kwargs)
509
510 return resp

D:\Program Files (x86)\Anaconda2\lib\site-packages\requests\sessions.pyc in send(self, request, **kwargs)
616
617 # Send the request
–> 618 r = adapter.send(request, **kwargs)
619
620 # Total elapsed time of the request (approximately)

D:\Program Files (x86)\Anaconda2\lib\site-packages\requests\adapters.pyc in send(self, request, stream, timeout, verify, cert, proxies)
504 if isinstance(e.reason, _SSLError):
505 # This branch is for urllib3 v1.22 and later.
–> 506 raise SSLError(e, request=request)
507
508 raise ConnectionError(e, request=request)

SSLError: HTTPSConnectionPool(host=‘apache-mxnet.s3-accelerate.amazonaws.com’, port=443): Max retries exceeded with url: /gluon/dataset/hotdog.zip (Caused by SSLError(SSLError(“bad handshake: SysCallError(10060, ‘WSAETIMEDOUT’)”,),))

请问我该怎么解决这个问题


#90

请问一下预训练好的模型,ImageNet的类别对应什么东西,这个可以在哪里获取,类似于index713是热狗,我想知道其他的label


#92

请教一个数据I/O的问题:
读入数据使用了
train_ds = vision.ImageFolderDataset(train_path)
loader = gluon.data.DataLoader
train_data = loader(train_ds.transform_first(transform_train), batch_size,shuffle=True, last_batch='keep')
训练一切都正常,但想具体看一下训练数据的图像的时候使用下面的代码报错:
data,label = train_ds[0:5]
MXNetError: [11:40:26] src/io/image_io.cc:223: Check failed: file.is_open() Imread: '('train_ds/1/2934349b033b5bb5f4a305393fd3d539b700bc84.jpg', 0)' couldn't open file: No such file or directory
上面能读到 train_ds报错文件路径和标签,但是却没有返回到对应的data和label中,请问是怎么造成的呢?
@szha


#93

查看文档后发现可以通过:
for data_path,label in train_ds.items[start:end]:
来获取文件的路径和标签,但如何能从DataLoader中直接把图像数组读出来显示呢?


#94

请教大家一个问题,课后题的第二题

这⾥finetune_net 重⽤了pretrained_net 除最后全连接外的所有权重,试试少重⽤些权重,有会有什么区别

我加了下面的一行代码跑了一下

finetune_net.features[-5:].initialize(init.Xavier(),force_reinit=True)

结果是

Epoch 0. Loss: 0.452, Train acc 0.83, Test acc 0.90, Time 23.0 sec
Epoch 1. Loss: 0.282, Train acc 0.89, Test acc 0.91, Time 15.2 sec
Epoch 2. Loss: 0.219, Train acc 0.92, Test acc 0.92, Time 13.3 sec
Epoch 3. Loss: 0.221, Train acc 0.91, Test acc 0.91, Time 13.9 sec
Epoch 4. Loss: 0.211, Train acc 0.92, Test acc 0.93, Time 13.4 sec
Epoch 5. Loss: 0.197, Train acc 0.92, Test acc 0.91, Time 13.4 sec
Epoch 6. Loss: 0.187, Train acc 0.93, Test acc 0.93, Time 14.7 sec
Epoch 7. Loss: 0.158, Train acc 0.94, Test acc 0.92, Time 13.6 sec
Epoch 8. Loss: 0.158, Train acc 0.94, Test acc 0.94, Time 13.9 sec
Epoch 9. Loss: 0.154, Train acc 0.94, Test acc 0.93, Time 14.6 sec

感觉和前面没有什么差异,请问是为什么呢?


#95

同问,请问有人能提供一下热狗数据集的网盘链接吗,实在下不下来。感想!


#96

这个问题现在有解决么 @piiswrong @mli
从哪里能查到Hotdog index是713 ?


#97

热狗数据集:链接:https://pan.baidu.com/s/1ry1PwqY5OOsUaXi8Otm4EA 密码:jbd7


#98

想问一下在做finetuning的时候如何固定前面哪些layer的参数?


#99

请问计算的时候模型是怎么区分是正样本还是负样本的呀?没有看到哪里加了标签呀。只看到读数据用的gdata.vision.ImageFolderDataset,难道是它在起作用吗?


#100

pretrained_net = model_zoo.vision.resnet18_v2(pretrained=True)
finetune_net = model_zoo.vision.resnet18_v2(classes=2)
请问直接把这两个地方的resnet18_v2换成inception_v3为什么会出错呢?


#101

Inception v3的输入是299299. 其余model zoo的模型是224224