[当前最佳0.00000 @ypw/ 0.20631 @LeeJuly30] Kaggle ImageNet Dogs


#404

resnet18_v1+inception_v3 未使用Stanford dogs dataset


#405


使用Stanford dogs dataset, inception_v3模型


#406

第六周新提交奖励截至本楼。

请获奖小伙伴
@xiaoming
@samhonglei
@tommythecat
@t800ghb
把姓名+邮箱地址私信给AWS中国的 @wang_chen 领取$50 AWS credit奖励。


#407

嗯嗯抱歉才看到私信。
是的没问题,非常支持!@tommythecat 同学你的奖励已经发出啦,请查收邮箱哦。


#408


参考ypw大神特征提取方法。做了以下修改:
1:分批写入H5PY文件, 提取的特征太大,16G内存吃不消。
2:随机打乱读取H5PY文件, 写入数据是按顺序写入, 所以读取必须随机。
3:只提取了inceptionV3和 resnet152_v1 特征
4:训练大概80个epoch
github: https://github.com/samhonglei/dog_breed, 代码较乱,没有整理:sweat_smile:


#409

inception_v3单模型微调得分0.23837,resnet152_v1单模型微调0.28773,我把这两个提交的csv文件读进DataFrame,相加并做概率归一化,得到新的预测结果,最终得分0.23487,这样做效果也没提升很多.哪里出错了吗? :sweat_smile:


#410

我也尝试过 模型结果平均的方法,效果并不好。我觉得可能因为多分类评估函数变了的缘故:
image


#411

使用了杨培文大佬的方法,加入了standford dog 数据集,结果如下:

采用vgg+densenet152 提取出feature1,训练得到out1;inception_v3+resnet152 提取出feature2,训练得到out2。两个结果采用投票方式,得到以上结果。


#412

再次提交,未加入standford数据集


#413

再一次提交,未加入standford数据集


#414

毕设开题终于结束了,来参加第三次训练~
看了大佬们的留言,参考@ypw的思路和@fierceX的代码,使用resnet152_v1和inception_v3的模型融合,未使用standford dataset,第一次提交~


#415

请问具体投票是怎么操作的呢,两个out直接相加,然后逐行除以该行的总和吗?


#416

其实,我的方法也不算很严格的投票吧,是取效果较好的一行。
result = input1
for i in range(result.shape[0]):
  a = input1[i,:].reshape(1,-1)
  b = input2[i,:].reshape(1,-1)
  if np.argmax(a) == np.argmax(b):
    if a.max()<b.max():
      result[i,:] = b
output = pd.DataFrame(result,index=index1,columns=column1)
output.to_csv(‘result_max.csv’,index=True,sep=’,’)

先把效果好的作为默认的结果,逐行比较,选取置信度更高的行。


#417

遇到个大家好像没遇到的问题……没想明白,求解惑!
直接运行 @ypw 的代码,在提取特征向量的时候直接崩溃,进度条根本没动,在 get_features 函数的 for 循环处崩的。
image

AWS p2.xlarge 平台,硬盘40G
mxnet 版本:mxnet-cu80 1.0.1b20180105

在尝试把 batch_size 调小,甚至为 1 的时候也是相同的报错。
一开始怀疑是延后执行导致数据全加载,以致于显存(11G)不够,但是感觉数据是从 DataLoader 出来的,而且在 for 循环中也有 .asnumpy 的操作避免延后执行。
现在觉得会不会是软链接的问题。。。求前辈指明方向 = =


#418

恭喜毕设开题结束 :grinning:


#419

谢谢 Aston!由于想做纯通信,自己找了个5G里面的候选多址技术,用机器学习优化其中两个关键算法。。在纯通信的实验室开题坎坷。。:joy:


#420

听上去很有意思啊~
坎坷才有价值,加油!


#421

好像是软连接的问题,运行preprocessing.py后新建了两个文件夹for_train和for_test,但是里面的软连接全断开了


#422

大神太牛了,普及了一下图像处理的知识,通俗易懂 :wink:


#423

哇 谢谢谢谢!
通过 ls -li 查看 for_train 目录下各个类的软链接情况,并没有断,只是指向的位置错了……
相对路径想当然了,忘记确认软链接真正存放的路径在哪了~