[当前最佳0.00000 @ypw/ 0.20631 @LeeJuly30] Kaggle ImageNet Dogs

[astonzhang]

【最终波奖励：2月26日截止】我们也会在Kaggle比赛最终Leaderboard揭晓时（2月26日左右）奖励Leaderboard上Top 20的MXNet/Gluon社区小伙伴。

【每周奖励新提交】欢迎大家继续交流并提交成绩。我们每周继续奖励社区内新提交成绩的小伙伴$50 AWS credit。

【第三波奖励（截至12月16日北京时间早4点）】恭喜大家！在本周六（12月16日）北京时间早4点前提交结果中奖励：两份榜单中Rank 1、Rank 2、Rank 3、Rank 4-20的小伙伴各$200、$150、$100、$50的AWS credit、积极发展社区的小伙伴各$50的AWS credit（可累加）和其他新提交的小伙伴各$50的AWS credit。请获奖小伙伴把姓名+邮箱地址私信给AWS中国的 @wang_chen 领取奖励。

前三波奖励最高的社区小伙伴	当前累加奖励
@ypw	$650
@LeeJuly30	$250
@root	$250
@fiercex	$250
@libennext	$250
@YoungGer	$250

【第二波奖励（已结束）】恭喜大家！在本周六（11月25日）北京时间早4点前提交结果中奖励：分数超过第一周最好成绩的小伙伴（未使用Stanford dogs dataset<0.28228 @ypw ；使用Stanford dogs dataset<0.00601 @ypw ）各$100的AWS credit、积极发展社区的小伙伴各$50的AWS credit（可累加）和其他新提交的小伙伴各$50的AWS credit。请获奖小伙伴把姓名+邮箱地址私信给AWS中国的 @wang_chen 领取奖励。

【第一波奖励（已结束）】恭喜大家！在本周六（11月18日）北京时间早4点前提交结果中奖励：未使用Stanford dogs dataset分数<=0.5以及最早提交的小伙伴各$100的AWS credit，使用Stanford dogs dataset的小伙伴、在本次比赛中积极发展社区的小伙伴（可累加）和其他小伙伴各$50的AWS credit。请获奖小伙伴把姓名+邮箱地址私信给AWS中国的 @wang_chen 领取奖励。

---

比赛教程 如何用AWS运行教程 数据集下载链接：@rlchen 的网盘 @ypw 的网盘

我们非常鼓励大家在github或Kaggle discussion上分享自己的方法和代码。这样做不仅建立了自己的portfolio，还有助于小伙伴们交流提高，也是对我们MXNet/Gluon社区最好的宣传，吸引更多高手来一起切磋。

以下所有小伙伴均会得到 社区发展奖 （Award for MXNet/Gluon Community Development）。小伙伴们在Git repo、Kaggle discussion和博客上别忘了相互加星星、upvote和留言点赞

积极发展社区的小伙伴	比赛	Github	Kaggle Discussion	博客
@ypw	ImageNet Dogs	Gluon代码		在AWS上配置深度学习主机
@fiercex	ImageNet Dogs	Gluon代码		个人主页 Gluon炼丹 使用Gluon做汪星人识别网页
@YoungGer	ImageNet Dogs	Gluon代码
@classtag	ImageNet Dogs	Gluon代码
@ych	ImageNet Dogs	Gluon代码
@libennext	ImageNet Dogs		Kaggle帖子
@Sherlock	Cifar10 & ImageNet Dogs	Gluon代码1 Gluon代码2		用Gluon炼丹体验
@Sinyer	Cifar10	Gluon代码	Kaggle帖子
@yinglang	Cifar10	Gluon代码	Kaggle帖子
@anabasYu	Cifar10	Gluon代码
@jamesliu	Cifar10	Gluon代码
@Jeff09	Cifar10	Gluon代码

使用了Stanford dogs dataset（成绩以12/16前提交的截图为准）：

名次	12/16社区Top分数的小伙伴	分数
1	@ypw	0.00254
2	@root	0.00337
3	@xiehongyu2005	0.00353
4	@davidwang	0.00365
5	@SamLin	0.00365
6	@huliang2016	0.00388
7	@ych	0.00402
8	@jiaenyue	0.00413
9	@Sherlock	0.00489
10	@ShichengChen	0.00568
11	@papercat	0.00729
12	@July	0.00857
13	@fiercex	0.01129
14	@Jing-Luo	0.04329
15	@xuyuting45	0.08361
16	@roreagan	0.18016
17	@YoungGer	0.51176

未使用Stanford dogs dataset（成绩以12/16前提交的截图为准）：

名次	12/16社区Top分数的小伙伴	分数
1	@LeeJuly30	0.20631
2	@chamlhy	0.20666
3	@libennext	0.21057
4	@ych	0.21224
5	@papercat	0.21430
6	@daveleung	0.26792
7	@ypw	0.27143
8	@davidwang	0.27353
9	@jamesliu	0.27384
10	@sky	0.27391
11	@xiehongyu2005	0.27696
12	@root	0.28056
13	@jiaenyue	0.28059
14	@fiercex	0.28177
15	@Feywell	0.28224
16	@SamLin	0.28309
17	@YoungGer	0.28508
18	@Jeff09	0.28518
19	@PeterChenYijie	0.28620
20	@classtag	0.29587

所有分享Kaggle分数截图的小伙伴均会得到 调得一手好参奖 （Award for Deep Learning Hacking）。请给对你有启发的分享点个赞。

使用了Stanford dogs dataset：

社区优秀小伙伴	分数	奖励（第一波+第二波/新提交+第三波/新提交）	分享
@ypw	0.00000	见下表（当前最佳，Kaggle第一！）	2楼 111楼 372楼 447楼
@xuyuting45	0.08361	见下表	22楼
@YoungGer	0.51176	见下表	168楼
@ShichengChen	0.00568	见下表	174楼
@Jing-Luo	0.04329	$0 + $50 + $50 （第二波奖励截至本楼）	177楼
@July	0.00857	见下表	209楼
@root	0.00337	见下表	234楼
@huliang2016	0.00388	见下表	243楼
@davidwang	0.00365	见下表	267楼 317楼
@fiercex	0.01129	见下表	268楼
@ych	0.00402	见下表	270楼
@xiehongyu2005	0.00353	见下表	342楼
@Sherlock	0.00489	见下表	344楼
@SamLin	0.00365	见下表	345楼 354楼
@papercat	0.00729	见下表	376楼 382楼 385楼
@roreagan	0.18016	$0 + $0 + $50	381楼
@jiaenyue	0.00413	见下表（第三波奖励截至此楼）	384楼
@xiaoming	0.06049	$0 + $0 + $50	397楼
@samhonglei	0.00872	$0 + $0 + $50 （第六周奖励截至本楼）	405楼 408楼
@daigz1224	0.00757（第七周奖励截至本楼）		431楼
@JLUNeverMore	0.00439（第八周奖励截至本楼）		433楼
@whyguu	0.00370（第九周奖励截至本楼）		437楼
@yulangwx	0.00551		451楼
@codingzhang	0.00350（第十周奖励截至本楼）		452楼
@LeeJuly30	0.00374		462楼
@yuxiaojian01	0.00359（第十一周奖励截至本楼）		466楼 479楼
@pukkinming	0.01586		476楼 483楼
@bon	0.18960		481楼
@freecss	0.00980		482楼

---

未使用Stanford dogs dataset：

社区优秀小伙伴	分数	奖励（第一波+第二波/新提交+第三波/新提交）	分享
@libennext	0.21057	$100 + $0 + $150（论抢沙发的重要性）	3楼 34楼 149楼 171楼 183楼 365楼 383楼
@Chao1155	0.37833	$50 + $0 + $0	8楼 10楼 302楼
@xuyuting45	0.39815	$100 + $0 + $50	9楼 162楼 163楼
@PeterChenYijie	0.28620	$100 + $0 + $50	14楼 70楼
@luz	1.71361	$50 + $0 + $0	15楼
@YoungGer	0.28508	$50 + $100 + $100	18楼 153楼
@davidwang	0.27353	$50 + $0 + $100	21楼 107楼 178楼 235楼
@chamlhy	0.20666	$50 + $0 + $150	23楼 121楼 306楼 310楼
@rlchen	0.79124	$50 + $0 + $0	26楼 44楼
@sakura	0.68968	$50 + $0 + $0	27楼 33楼
@Jeff09	0.28518	$50 + $0 + $50	29楼 85楼 119楼 248楼
@huliang2016	0.41770	$100 + $0 + $50	30楼 32楼 81楼
@wangzhe	0.67592	$50 + $0 + $0 (Saliency detection)	31楼 38楼
@July	0.51920	$50 + $0 + $50	36楼 132楼
@Sherlock	0.78438	$100 + $0 + $50	37楼
@LeeJuly30	0.20631	$50 + $0 + $200	46楼 78楼 104楼 170楼 173楼 245楼 301楼 312楼
@xingkong_liang	0.86232	$50 + $0 + $0	47楼 69楼
@ypw	0.27143	$200 + $200 + $250	50楼 56楼 102楼
@mylxiaoyi	0.59069	$50 + $0 + $0	51楼 58楼 82楼 94楼
@paulpaul91	2.80483	$50 + $0 + $0	52楼 59楼
@classtag	0.29587	$100 + $0 + $100	55楼
@root	0.28056	$50 + $0 + $200	76楼 215楼
@sky	0.27391	$50 + $0 + $50	77楼 172楼 276楼 355楼
@Feywell	0.28224	$50 + $150 + $0	80楼 151楼
@zachstark	4.84227	$50 + $0 + $0（第一波奖励截至本楼）	86楼
@jamesliu	0.27384	$0 + $50 + $50	95楼 160楼181楼 184楼 281楼
@aa12356jm	0.23630	$0 + $50 + $0	103楼 413楼
@coolspider2017	0.41713	$0 + $50 + $0	113楼 131楼 133楼 230楼
@fiercex	0.28177	$0 + $150 + $100	123楼 135楼 138楼 139楼 157楼
@luopengting	0.46076	$0 + $50 + $0	134楼
@weiliang	0.47270	$0 + $50 + $0	159楼
@jiaenyue	0.28059	$0 + $100 + $100	165楼
@john	0.29650	$0 + $50 + $0	168楼
@ShichengChen	0.61553	$0 + $150 + $50	174楼
@ych	0.21224	$0 + $50 + $150 （第二波奖励截至本楼）	175楼 270楼 297楼
@victcity	3.58248	$0 + $50 + $0	186楼
@Johnson	0.35913	$0 + $50 + $0	198楼
@xiehongyu2005	0.27696	$0 + $50 + $150	227楼
@Eric_Sean	1.80489	$0 + $50 + $0	227楼
@stephen412	0.36188	$0 + $50 + $0	237楼 298楼
@echo42	0.46943	$0 + $50 + $0	240楼
@yulangwx	0.26166	$0 + $50 + $0	244楼 450楼
@bon	0.22661	$0 + $50 + $0	265楼 457楼 461楼
@Darcy	3.53245	$0 + $50 + $0 （第三周奖励截至本楼）	283楼
@wEEang763162	0.76588	$0 + $50 + $0	302楼
@justinshi	3.27870	$0 + $50 + $0	304楼
@papercat	0.21430	$0 + $50 + $100	314楼 371楼
@SamLin	0.28309	$0 + $50 + $100（第四周奖励截至本楼）	341楼
@techzhou	0.64119	$0 + $0 + $50	364楼
@daveleung	0.26792	$0 + $0 + $50	368楼
@eatingAbiscuit	0.65470	$0 + $0 + $50	373楼
@zzzzahhhh	4.74592	$0 + $0 + $50（第五周/第三波奖励截至本楼）	379楼
@tommythecat	0.30780	$0 + $0 + $50	390楼 396楼 404楼
@t800ghb	0.27814	$0 + $0 + $50 （第六周奖励截至本楼）	392楼 424楼
@daigz1224	0.26756	$0 + $0 + $50（第七周奖励截至本楼）	414楼 426楼
@whyguu	0.27926		437楼
@deadbeef	0.29125	$0 + $0 + $50	444楼
@irvingzhang0512	0.29125	$0 + $0 + $50（第九周奖励截至本楼）	445楼
@Trouble404	0.26656	$0 + $0 + $50	455楼
@lv	0.48297	$0 + $0 + $50	458楼
@yuxiaojian01	0.27552	$0 + $0 + $50（第十一周奖励截至本楼）	460楼
@yjfdl123	3.54776	$0 + $0 + $50	474楼

---

你是否听说过ImageNet？本次Kaggle比赛我们将挑战ImageNet的子集数据集。下面有请数据集的主角登场：

狗是人类的朋友。狗的品种很多，例如拉布拉多、贵宾、腊肠、萨摩耶、哈士奇、吉娃娃、约克夏等（然而下图和这段文字一点关系都没有）。

在cifar10中我们尝试了区分狗和猫。本次Kaggle比赛Dog Breed Identification中，我们将使用大小不一且大小更加接近真实数码相片的狗照片数据集来训练模型，以识别120种不同品种的狗。

我们鼓励小伙伴们使用Kaggle比赛中提供的训练数据集来训练模型或使用model zoo中的模型来微调。如果有小伙伴直接在训练数据集中添加了包含比赛测试数据的Stanford dogs dataset，这同样符合比赛规则，不过请在帖子中注明“使用了Stanford dogs dataset”。总之，不使用Stanford dogs dataset有助于自我学习和提升，使用的话有助于在本次全球Live的Kaggle中取得较高名次：我们在社区内会使用两个成绩列表区分一下。

---

查看上次Kaggle房价预测比赛成绩和奖励详情以及代码、方法或心得分享
查看上次Kaggle CIFAR-10 比赛成绩和奖励详情以及代码、方法或心得分享

[ypw]

emmm。。之前做的时候使用了Stanford dogs dataset

[libennext]

没有使用Stanford dogs dataset，简单调了下lr

[astonzhang]

赞！这个是用gluon写的吗？

[ypw]

之前用 Keras 写的，现在正在学习 gluon，可以尝试用 gluon 重现一下~

[astonzhang]

用gluon重现吧~ 造福一下社区里的小伙伴们，如果传到github或者kaggle discussion里和我说一下

[victcity]

再跑之前稍微有肉眼看了一下，我只能分辨大狗小狗，竟然有120种，真的是惊了个呆

[Chao1155]

教程里给的baseline

[xuyuting45]

没有使用Stanford dogs dataset，微调resnet-50-v1

[Chao1155]

for reference：标准训练数据，baseline resnet，打开标准的3个da。

[Jeff09]

为啥之前用了教程里提供的resnet18能跑，现在我换了resnet164报错如下：

我把batch改小了也不行。

然后我又用resnet18跑，就跑不了了，也是一直报上面的错误。
GPU：8GB 1080
cuda8.0

有人能帮我出出招吗？

[jiaenyue]

batch改到16， 还不行就改到8

[Sherlock]

要restart kernel

[PeterChenYijie]

跑了下baseline。GPU运算不行，batch_size 加不上去,勉强一个成绩

[luz]

用的resnet101v1 pretrained model，没有改超参，比baseline效果稍微好一些。

不过很好奇为什么在transform_train函数里加上data augmentation后，训练时valid loss效果反而会变差

[zxfzqf]

数据集能给个百度云链接什么的吗？不知道今天网络怎么抽风了，就是下载不了

[rlchen]

链接:http://pan.baidu.com/s/1jH4tdn4 密码:8ps4

[YoungGer]

使用默认resnet-18，没有使用Stanford dogs dataset，相关参数如下
num_epochs = 225
learning_rate = 0.01
weight_decay = 1e-2
lr_period = 20
lr_decay = 0.5

感觉train loss和val loss总有2.x的loss gap，加大了wd还是解决不了，之后再尝试其他方法。

[Jeff09]

嗯，改成4了，现在能跑起来了。谢谢。

[Jeff09]

嗯，对，restart之后会释放内存。