[当前最佳0.00000 @ypw/ 0.20631 @LeeJuly30] Kaggle ImageNet Dogs


#1

【最终波奖励:2月26日截止】我们也会在Kaggle比赛最终Leaderboard揭晓时(2月26日左右)奖励Leaderboard上Top 20的MXNet/Gluon社区小伙伴。

【每周奖励新提交】欢迎大家继续交流并提交成绩。我们每周继续奖励社区内新提交成绩的小伙伴$50 AWS credit。

【第三波奖励(截至12月16日北京时间早4点)】恭喜大家!在本周六(12月16日)北京时间早4点前提交结果中奖励:两份榜单中Rank 1、Rank 2、Rank 3、Rank 4-20的小伙伴各$200、$150、$100、$50的AWS credit、积极发展社区的小伙伴各$50的AWS credit(可累加)和其他新提交的小伙伴各$50的AWS credit。请获奖小伙伴把姓名+邮箱地址私信给AWS中国的 @wang_chen 领取奖励。

前三波奖励最高的社区小伙伴 当前累加奖励
@ypw $650
@LeeJuly30 $250
@root $250
@fiercex $250
@libennext $250
@YoungGer $250

【第二波奖励(已结束)】恭喜大家!在本周六(11月25日)北京时间早4点前提交结果中奖励:分数超过第一周最好成绩的小伙伴(未使用Stanford dogs dataset<0.28228 @ypw ;使用Stanford dogs dataset<0.00601 @ypw )各$100的AWS credit、积极发展社区的小伙伴各$50的AWS credit(可累加)和其他新提交的小伙伴各$50的AWS credit。请获奖小伙伴把姓名+邮箱地址私信给AWS中国的 @wang_chen 领取奖励。

【第一波奖励(已结束)】恭喜大家!在本周六(11月18日)北京时间早4点前提交结果中奖励:未使用Stanford dogs dataset分数<=0.5以及最早提交的小伙伴各$100的AWS credit,使用Stanford dogs dataset的小伙伴、在本次比赛中积极发展社区的小伙伴(可累加)和其他小伙伴各$50的AWS credit。请获奖小伙伴把姓名+邮箱地址私信给AWS中国的 @wang_chen 领取奖励。


比赛教程 如何用AWS运行教程 数据集下载链接:@rlchen 的网盘 @ypw 的网盘

我们非常鼓励大家在githubKaggle discussion分享自己的方法和代码。这样做不仅建立了自己的portfolio,还有助于小伙伴们交流提高,也是对我们MXNet/Gluon社区最好的宣传,吸引更多高手来一起切磋。

以下所有小伙伴均会得到 社区发展奖Award for MXNet/Gluon Community Development)。小伙伴们在Git repo、Kaggle discussion和博客上别忘了相互加星星、upvote和留言点赞 :grinning:

积极发展社区的小伙伴 比赛 Github Kaggle Discussion 博客
@ypw ImageNet Dogs Gluon代码 在AWS上配置深度学习主机
@fiercex ImageNet Dogs Gluon代码 个人主页 Gluon炼丹 使用Gluon做汪星人识别网页
@YoungGer ImageNet Dogs Gluon代码
@classtag ImageNet Dogs Gluon代码
@ych ImageNet Dogs Gluon代码
@libennext ImageNet Dogs Kaggle帖子
@Sherlock Cifar10 & ImageNet Dogs Gluon代码1 Gluon代码2 用Gluon炼丹体验
@Sinyer Cifar10 Gluon代码 Kaggle帖子
@yinglang Cifar10 Gluon代码 Kaggle帖子
@anabasYu Cifar10 Gluon代码
@jamesliu Cifar10 Gluon代码
@Jeff09 Cifar10 Gluon代码

使用了Stanford dogs dataset(成绩以12/16前提交的截图为准):

名次 12/16社区Top分数的小伙伴 分数
1 @ypw 0.00254
2 @root 0.00337
3 @xiehongyu2005 0.00353
4 @davidwang 0.00365
5 @SamLin 0.00365
6 @huliang2016 0.00388
7 @ych 0.00402
8 @jiaenyue 0.00413
9 @Sherlock 0.00489
10 @ShichengChen 0.00568
11 @papercat 0.00729
12 @July 0.00857
13 @fiercex 0.01129
14 @Jing-Luo 0.04329
15 @xuyuting45 0.08361
16 @roreagan 0.18016
17 @YoungGer 0.51176

未使用Stanford dogs dataset(成绩以12/16前提交的截图为准):

名次 12/16社区Top分数的小伙伴 分数
1 @LeeJuly30 0.20631
2 @chamlhy 0.20666
3 @libennext 0.21057
4 @ych 0.21224
5 @papercat 0.21430
6 @daveleung 0.26792
7 @ypw 0.27143
8 @davidwang 0.27353
9 @jamesliu 0.27384
10 @sky 0.27391
11 @xiehongyu2005 0.27696
12 @root 0.28056
13 @jiaenyue 0.28059
14 @fiercex 0.28177
15 @Feywell 0.28224
16 @SamLin 0.28309
17 @YoungGer 0.28508
18 @Jeff09 0.28518
19 @PeterChenYijie 0.28620
20 @classtag 0.29587

所有分享Kaggle分数截图的小伙伴均会得到 调得一手好参奖Award for Deep Learning Hacking)。请给对你有启发的分享点个赞。

使用了Stanford dogs dataset:

社区优秀小伙伴 分数 奖励(第一波+第二波/新提交+第三波/新提交) 分享
:1st_place_medal: @ypw 0.00000 见下表(当前最佳,Kaggle第一!) 2楼 111楼 372楼 447楼
@xuyuting45 0.08361 见下表 22楼
@YoungGer 0.51176 见下表 168楼
@ShichengChen 0.00568 见下表 174楼
@Jing-Luo 0.04329 $0 + $50 + $50 (第二波奖励截至本楼) 177楼
@July 0.00857 见下表 209楼
@root 0.00337 见下表 234楼
@huliang2016 0.00388 见下表 243楼
@davidwang 0.00365 见下表 267楼 317楼
@fiercex 0.01129 见下表 268楼
@ych 0.00402 见下表 270楼
@xiehongyu2005 0.00353 见下表 342楼
@Sherlock 0.00489 见下表 344楼
@SamLin 0.00365 见下表 345楼 354楼
@papercat 0.00729 见下表 376楼 382楼 385楼
@roreagan 0.18016 $0 + $0 + $50 381楼
@jiaenyue 0.00413 见下表(第三波奖励截至此楼) 384楼
@xiaoming 0.06049 $0 + $0 + $50 397楼
@samhonglei 0.00872 $0 + $0 + $50 (第六周奖励截至本楼) 405楼 408楼
@daigz1224 0.00757(第七周奖励截至本楼) 431楼
@JLUNeverMore 0.00439(第八周奖励截至本楼) 433楼
@whyguu 0.00370(第九周奖励截至本楼) 437楼
@yulangwx 0.00551 451楼
@codingzhang 0.00350(第十周奖励截至本楼) 452楼
@LeeJuly30 0.00374 462楼
@yuxiaojian01 0.00359(第十一周奖励截至本楼) 466楼 479楼
@pukkinming 0.01586 476楼 483楼
@bon 0.18960 481楼
@freecss 0.00980 482楼

未使用Stanford dogs dataset:

社区优秀小伙伴 分数 奖励(第一波+第二波/新提交+第三波/新提交) 分享
@libennext 0.21057 $100 + $0 + $150(论抢沙发的重要性) 3楼 34楼 149楼 171楼 183楼 365楼 383楼
@Chao1155 0.37833 $50 + $0 + $0 8楼 10楼 302楼
@xuyuting45 0.39815 $100 + $0 + $50 9楼 162楼 163楼
@PeterChenYijie 0.28620 $100 + $0 + $50 14楼 70楼
@luz 1.71361 $50 + $0 + $0 15楼
@YoungGer 0.28508 $50 + $100 + $100 18楼 153楼
@davidwang 0.27353 $50 + $0 + $100 21楼 107楼 178楼 235楼
@chamlhy 0.20666 $50 + $0 + $150 23楼 121楼 306楼 310楼
@rlchen 0.79124 $50 + $0 + $0 26楼 44楼
@sakura 0.68968 $50 + $0 + $0 27楼 33楼
@Jeff09 0.28518 $50 + $0 + $50 29楼 85楼 119楼 248楼
@huliang2016 0.41770 $100 + $0 + $50 30楼 32楼 81楼
@wangzhe 0.67592 $50 + $0 + $0 (Saliency detection) 31楼 38楼
@July 0.51920 $50 + $0 + $50 36楼 132楼
@Sherlock 0.78438 $100 + $0 + $50 37楼
:1st_place_medal: @LeeJuly30 0.20631 $50 + $0 + $200 46楼 78楼 104楼 170楼 173楼 245楼 301楼 312楼
@xingkong_liang 0.86232 $50 + $0 + $0 47楼 69楼
@ypw 0.27143 $200 + $200 + $250 50楼 56楼 102楼
@mylxiaoyi 0.59069 $50 + $0 + $0 51楼 58楼 82楼 94楼
@paulpaul91 2.80483 $50 + $0 + $0 52楼 59楼
@classtag 0.29587 $100 + $0 + $100 55楼
@root 0.28056 $50 + $0 + $200 76楼 215楼
@sky 0.27391 $50 + $0 + $50 77楼 172楼 276楼 355楼
@Feywell 0.28224 $50 + $150 + $0 80楼 151楼
@zachstark 4.84227 $50 + $0 + $0(第一波奖励截至本楼) 86楼
@jamesliu 0.27384 $0 + $50 + $50 95楼 160楼181楼 184楼 281楼
@aa12356jm 0.23630 $0 + $50 + $0 103楼 413楼
@coolspider2017 0.41713 $0 + $50 + $0 113楼 131楼 133楼 230楼
@fiercex 0.28177 $0 + $150 + $100 123楼 135楼 138楼 139楼 157楼
@luopengting 0.46076 $0 + $50 + $0 134楼
@weiliang 0.47270 $0 + $50 + $0 159楼
@jiaenyue 0.28059 $0 + $100 + $100 165楼
@john 0.29650 $0 + $50 + $0 168楼
@ShichengChen 0.61553 $0 + $150 + $50 174楼
@ych 0.21224 $0 + $50 + $150 (第二波奖励截至本楼) 175楼 270楼 297楼
@victcity 3.58248 $0 + $50 + $0 186楼
@Johnson 0.35913 $0 + $50 + $0 198楼
@xiehongyu2005 0.27696 $0 + $50 + $150 227楼
@Eric_Sean 1.80489 $0 + $50 + $0 227楼
@stephen412 0.36188 $0 + $50 + $0 237楼 298楼
@echo42 0.46943 $0 + $50 + $0 240楼
@yulangwx 0.26166 $0 + $50 + $0 244楼 450楼
@bon 0.22661 $0 + $50 + $0 265楼 457楼 461楼
@Darcy 3.53245 $0 + $50 + $0 (第三周奖励截至本楼) 283楼
@wEEang763162 0.76588 $0 + $50 + $0 302楼
@justinshi 3.27870 $0 + $50 + $0 304楼
@papercat 0.21430 $0 + $50 + $100 314楼 371楼
@SamLin 0.28309 $0 + $50 + $100(第四周奖励截至本楼) 341楼
@techzhou 0.64119 $0 + $0 + $50 364楼
@daveleung 0.26792 $0 + $0 + $50 368楼
@eatingAbiscuit 0.65470 $0 + $0 + $50 373楼
@zzzzahhhh 4.74592 $0 + $0 + $50(第五周/第三波奖励截至本楼) 379楼
@tommythecat 0.30780 $0 + $0 + $50 390楼 396楼 404楼
@t800ghb 0.27814 $0 + $0 + $50 (第六周奖励截至本楼) 392楼 424楼
@daigz1224 0.26756 $0 + $0 + $50(第七周奖励截至本楼) 414楼 426楼
@whyguu 0.27926 437楼
@deadbeef 0.29125 $0 + $0 + $50 444楼
@irvingzhang0512 0.29125 $0 + $0 + $50(第九周奖励截至本楼) 445楼
@Trouble404 0.26656 $0 + $0 + $50 455楼
@lv 0.48297 $0 + $0 + $50 458楼
@yuxiaojian01 0.27552 $0 + $0 + $50(第十一周奖励截至本楼) 460楼
@yjfdl123 3.54776 $0 + $0 + $50 474楼

你是否听说过ImageNet?本次Kaggle比赛我们将挑战ImageNet的子集数据集。下面有请数据集的主角登场:

狗是人类的朋友。狗的品种很多,例如拉布拉多、贵宾、腊肠、萨摩耶、哈士奇、吉娃娃、约克夏等(然而下图和这段文字一点关系都没有)。

在cifar10中我们尝试了区分狗和猫。本次Kaggle比赛Dog Breed Identification中,我们将使用大小不一且大小更加接近真实数码相片的狗照片数据集来训练模型,以识别120种不同品种的狗。

我们鼓励小伙伴们使用Kaggle比赛中提供的训练数据集来训练模型或使用model zoo中的模型来微调。如果有小伙伴直接在训练数据集中添加了包含比赛测试数据的Stanford dogs dataset,这同样符合比赛规则,不过请在帖子中注明“使用了Stanford dogs dataset”。总之,不使用Stanford dogs dataset有助于自我学习和提升,使用的话有助于在本次全球Live的Kaggle中取得较高名次:我们在社区内会使用两个成绩列表区分一下。


查看上次Kaggle房价预测比赛成绩和奖励详情以及代码、方法或心得分享
查看上次Kaggle CIFAR-10 比赛成绩和奖励详情以及代码、方法或心得分享


第十二课:循环神经网络
mxnet是并行执行两个网络吗?
#2

emmm。。之前做的时候使用了Stanford dogs dataset


#3

没有使用Stanford dogs dataset,简单调了下lr


#4

赞!这个是用gluon写的吗?


#5

:joy:之前用 Keras 写的,现在正在学习 gluon,可以尝试用 gluon 重现一下~


#6

用gluon重现吧~ 造福一下社区里的小伙伴们,如果传到github或者kaggle discussion里和我说一下 :grinning:


#7

再跑之前稍微有肉眼看了一下,我只能分辨大狗小狗,竟然有120种,真的是惊了个呆 :joy:


#8


教程里给的baseline


#9


没有使用Stanford dogs dataset,微调resnet-50-v1


#10


for reference:标准训练数据,baseline resnet,打开标准的3个da。


#11

为啥之前用了教程里提供的resnet18能跑,现在我换了resnet164报错如下:


我把batch改小了也不行。

然后我又用resnet18跑,就跑不了了,也是一直报上面的错误。
GPU:8GB 1080
cuda8.0

有人能帮我出出招吗?


#12

batch改到16, 还不行就改到8


#13

要restart kernel


#14

跑了下baseline。GPU运算不行,batch_size 加不上去,勉强一个成绩:rofl::rofl::rofl:


#15


用的resnet101v1 pretrained model,没有改超参,比baseline效果稍微好一些。

不过很好奇为什么在transform_train函数里加上data augmentation后,训练时valid loss效果反而会变差:confused:


#16

数据集能给个百度云链接什么的吗?不知道今天网络怎么抽风了,就是下载不了


#17

链接:http://pan.baidu.com/s/1jH4tdn4 密码:8ps4


#18

使用默认resnet-18,没有使用Stanford dogs dataset,相关参数如下
num_epochs = 225
learning_rate = 0.01
weight_decay = 1e-2
lr_period = 20
lr_decay = 0.5

感觉train loss和val loss总有2.x的loss gap,加大了wd还是解决不了,之后再尝试其他方法。


#19

嗯,改成4了,现在能跑起来了。谢谢。


#20

嗯,对,restart之后会释放内存。