[最高0.9853! @zzc1995,分数持续更新中] 动手玩Kaggle比赛------使用Gluon对原始图像文件分类(CIFAR-10) 讨论区


#1

【11/16更新】我们依然会继续在成绩列表中添加小伙伴们新提交的分数 :grinning:

截至11/4,本社区共有十二位小伙伴成功击败Kaggle leaderboard第一 (0.9553):

@yinglang (0.9688)、@anabasYu (0.9660)、@john (0.9652)、@ych (0.9629)、@jamesliu (0.9629) 、@paulpaul91(0.9628)、@zhaowei-rs (0.9618)、@Sherlock (0.9612)、@PeterChenYijie (0.9612)、@hdjsjyl (0.9607)、@free_slam_dunk (0.9589)、@cryoung (0.9571)

以下社区小伙伴已积极分享gluon代码(按时间顺序)。非常感谢大家无私分享知识和回馈社区(这也是在github上对我们MXNet/Gluon社区和社区智慧最好的宣传)。如果觉得对你有启发请点赞和加星星:

@zlh19921210分享的gluon代码
@Sherlock 分享的gluon代码 [Readme已更新]
@yinglang 分享的gluon代码 [Readme已更新] Kaggle discussion post
@anabasYu 分享的gluon代码
@jamesliu 分享的gluon代码 [Readme已更新]
@Sinyer 分享的gluon代码 [Readme已更新] Kaggle discussion post


【11/4更新】第三波奖励:在本周六(11月4日)北京时间16点前提交结果中奖励第1名$500,2-10名各$100,11-20名各$50、其他未进前二十的第三周新提交各$50的AWS credit。请获奖小伙伴把邮箱地址和姓名私信给AWS中国的 @wang_chen 领取奖励。
【10/27更新】第二波奖励:在本周六(10月28日)北京时间早3点前提交结果中奖励分数>=0.95的小伙伴各$100的AWS credit,其他较上周分数提升或新提交的小伙伴各$50的AWS credit。请获奖小伙伴把邮箱地址私信给AWS中国的 @wang_chen 领取奖励。11月5日(下周日)线下活动调查问卷
【10/19更新】第一波奖励:在本周六(10月21日)北京时间早8点前提交结果中奖励分数>=0.94以及最早提交的小伙伴各$100的AWS credit,其他小伙伴各$50的AWS credit。请获奖小伙伴把邮箱地址私信给AWS中国的 @wang_chen 领取奖励。 有关学习率的观察 @victcity
【10/18更新】期待社区高手:我们会在作业最终截止日(待定)统计MXNet/Gluon社区的最终名次。如果本社区的第一名击败了Kaggle CIFAR-10比赛的第一名0.9553,本社区第一名在作业截止周可一次性获得$500 AWS credit奖励(建议分享gluon代码供社区小伙伴们参考学习,共同提高 :1st_place_medal: )。
【10/17更新】100楼更新几个调参建议


比赛教程 如何用AWS运行教程 数据下载 传送门1@mylxiaoyi传送门2@free_slam_dunk

AWS下载Kaggle数据集@root , AWS初体验@ych , AWS端口映射, 运行@daigz1224


查看上次Kaggle房价预测比赛成绩和奖励详情以及代码、方法或心得分享,例如 @gca 的分享

提交本次作业也有机会获得AWS credit奖励(比如可以获得多机器多GPU的炫酷体验)。小伙伴们快来分享自己的成绩(Kaggle分数截图)和方法吧!所有分享贴图的小伙伴均会得到 “调得一手好参” 徽章奖励。请给对你有启发的分享点个赞:

名次 11/4前二十名小伙伴 分数 第三波奖励
1 @yinglang 0.9688 $500
2 @anabasYu 0.9660 $100
3 @john 0.9652 $100
4 @ych 0.9629 $100
4 @jamesliu 0.9629 $100
6 @paulpaul91 0.9628 $100
7 @zhaowei-rs 0.9618 $100
8 @Sherlock 0.9612 $100
8 @PeterChenYijie 0.9612 $100
10 @hdjsjyl 0.9607 $100
11 @free_slam_dunk 0.9589 $50
12 @cryoung 0.9571 $50
13 @Yuyang105 0.9534 $50
14 @daigz1224 0.9527 $50
15 @roniusLuo 0.9522 $50
16 @mzchtx 0.9518 $50
17 @chamlhy 0.9516 $50
18 @zlh19921210 0.9510 $50
19 @hGuo 0.9502 $50
20 @zymboy 0.9483 $50
社区优秀小伙伴 分数 奖励(第一波+第二波) 分享
@fiercex 0.9157 $100 + $0(论抢沙发的重要性) 5楼
@xuke 0.9193 $50 + $0 13楼
@wangzhe 0.9322 $50 + $50 24楼 27楼 201楼
@paulpaul91 0.9628 $50 + $0 (Kaggle第一!) 28楼 109楼 110楼 117楼 369楼 379楼
@daizuozhuo 0.9343 $50 + $0 29楼 89楼
@cryoung 0.9571 $100 + $0(Kaggle第一!) 31楼 40楼 43楼 121楼 348楼
@mylxiaoyi 0.9246 $50 + $0 34楼 39楼
@free_slam_dunk 0.9589 $50 + $100(Kaggle第一!) 42楼 77楼 88楼 206楼 216楼 284楼
@Chao1155 0.9340 $50 + $50 44楼 105楼 132楼 176楼 216楼
@Yuyang105 0.9534 $50 + $100(Kaggle第一!) 45楼 84楼 120楼 135楼 292楼 386楼
@pitt 0.9149 $50 + $0 49楼 79楼 104楼
@victcity 0.9297 $50 + $0 60楼 131楼384楼
@hongxu 0.9232 $50 + $0 85楼 95楼
@gca 0.9236 $50 + $0 98楼
@aaronzs 0.9400 $100 + $0 99楼
@aa12356jm 0.9372 $50 + $50 101楼 282楼 300楼
@hnVfly 0.9329 $50 + $0 106楼 126楼
@zymboy 0.9483 $50 + $50 111楼 170楼 238楼 252楼
@wzhang1 0.9400 $100 + $0 113楼
@zhaowei-rs 0.9618 $50 + $50(Kaggle第一!) 118楼 214楼 255楼 352楼 355楼
@zlh19921210 0.9510 $50 + $100 (最先分享gluon代码) 124楼 151楼 158楼
@xiexuliunian 0.9170 $50 + $0 130楼
@yulangwx 0.9064 $50 + $0(CPU训练) 133楼 134楼
@t800ghb 0.9177 $50 + $0 137楼
@Matafight 0.9268 $50 + $0 138楼 148楼 338楼
@hdjsjyl 0.9607 $50 + $50 (Kaggle第一!) 139楼 187楼 354楼 381楼 412楼
@ych 0.9629 $50 + $50(Kaggle第一!) 141楼 287楼 339楼
:2nd_place_medal: @anabasYu 0.9660 $50 + $50 (Kaggle第一!) 143楼 144楼 290楼 340楼 395楼
@libennext 0.9301 $50 + $50 145楼 189楼 409楼
@papercat 0.9473 $50 + $50 146楼 186楼399楼
@sky 0.8940 $50 + $0 (CPU训练) 149楼 410楼
:3rd_place_medal: @john 0.9652 $50 + $0 (Kaggle第一!第一波奖励截至150楼) 150楼 366楼413楼
:1st_place_medal: @yinglang 0.9688 $0 + $100(Kaggle第一!) 155楼 162楼 198楼 270楼 387楼
@Jeff09 0.9388 $0 + $50 161楼 210楼 332楼
@areslp 0.9213 $0 + $50 184楼
@ringwraith 0.9214 $0 + $50 190楼 254楼
@davidwang 0.9686 $0 + $50 195楼 249楼 400楼 471楼
@Sinyer 0.9269->0.9698 $0 + $50 217楼 258楼 484楼
@L_xiaoming 0.9430 $0 + $50 219楼 377楼
@Sherlock 0.9612 $0 + $100(最先Kaggle第一!) 221楼 236楼 272楼
@roniusLuo 0.9522 $0 + $50 226楼 382楼
@jamesliu 0.9629 $0 + $50 (Kaggle第一!) 227楼 299楼 353楼 390楼 403楼
@chen0510566 0.9274 $0 + $50 233楼
@chamlhy 0.9516 $0 + $100(Kaggle前二) 235楼
@hGuo 0.9502 $0 + $100(Kaggle前二) 257楼
@albHun 0.9206 $0 + $50 259楼
@qingzhouzhen 0.9227 $0 + $50(CPU训练) 268楼
@huliang2016 0.9315 $0 + $50 269楼
@coolspider2017 0.8384 $0 + $50(CPU训练) 279楼
@daigz1224 0.9527 $0 + $50 288楼 318楼 370楼
@kwk 0.9251 $0 + $50 291楼
@yaoyaozxh 0.9386 $0 + $50 292楼
@root 0.9413 $0 + $50(第二波奖励截至295楼) 295楼 391楼
@daweiOSU2017 0.9127 $0 + $0 + $50 319楼
@mzchtx 0.9518 $0 + $0 323楼
@becauseof86 0.9345 $0 + $0 + $50 332楼 408楼
@xingkong_liang 0.9399 $0 + $0 + $50 336楼 361楼
@LeeJuly30 0.9240 $0 + $0 + $50 341楼
@huluwa 0.9443 $0 + $0 + $50 343楼 345楼
@WenmuZhou 0.9375 $0 + $0 + $50 362楼 402楼 427楼
@PeterChenYijie 0.9612 $0 + $0 367楼 401楼
@stephen412 0.9359 $0 + $0 + $50(第三波奖励截至415楼 ) 415楼
@brycezou 0.9401 $0 + $0 467楼
@lixufeng 0.8832 $0 + $0 475楼
@Angzz 0.9645 $0 + $0 503楼
@wk738126046 0.9439 $0 + $0 519楼
@murdockhou 0.9307 $0 + $0 525楼
@little7 0.9154 $0 + $0 533楼
@PistonY 0.9780 $0 + $0 535楼 538楼 555楼 556楼
@zzc1995 0.9853 $0 + $0 558楼 559楼 560楼 566楼 572楼
@jameson 0.9616 $0 + $0 567楼

我们注意到社区中一些反馈,例如

为了有助于大家一边学一边玩,我们再次提供了一个真实的Kaggle比赛案例。我们精心挑选了Kaggle中著名的CIFAR-10原始图像分类问题,并提供了对原始图像(例如png格式)分类的gluon示例代码(帮大家少踩坑。。)。希望大家get hands dirty,动手调调示例代码里的参数或改改模型,在类似下面的图片中(飞机、汽车、鸟、喵、鹿、汪、青蛙、马、船和卡车),比一比自己的深度学习模型和自己的肉眼的分类准确率:

(欢迎用肉眼挑战一下2行3列、3行3列、4行3列、4行7列、5行5列、5行9列、6行3列、7行2列、7行5列、8行3列等)


能不能给出一个直接从jpg文件进行图像分类的训练、预测例子?
build服务器是干嘛的?可以用来跑教程代码吗?
第七课:物体检测
第六课:优化算法高级和计算机视觉
第五课:Gluon高级和优化算法基础
[当前最佳0.00000 @ypw/ 0.20631 @LeeJuly30] Kaggle ImageNet Dogs
求教 机器学习工程师如何系统的入门mxnet和gluon
#2

斯坦福有一个demo就是用的这个例子(一个三层的神经网络),不过那个demo的调参太难了。
搞了半天,准确率才提升到70%,感觉用sgd+momentum进行优化对learning_rate特别敏感,不如用AdaDelta。

P.S.有兴趣的可以去这里瞅一眼
http://cs.stanford.edu/people/karpathy/convnetjs/demo/cifar10.html


#4

那个demo用的网络不好,所以难调。事实上我们给的demo可以轻松到87%。预测这次大家调一调进前10没问题


#5


感觉这个才有深度学习调参的感觉,一般机器要跑好久,不像上个几分钟就出结果了。
给的教程里我觉得有一点比较坑,在上个一预测房价里,K折训练和最后出结果要分别训练,就是在出结果那里要重新训练,在那个比赛里,由于模型比较小,可以很快训练完,没感觉到什么问题。但是在这个比赛里就有点问题了,前面调好的模型参数,结果在最后的出结果的代码块里,还是重新训练,对于我等屌丝来说。这相当耗时间,昨天没注意,训练了两次。


#6

主要是因为调参时用的是训练集子集(另一子集是验证集),预测时用的是训练集全集。所以教程里把调参和预测的code block分开(预测时重新在训练集全集上训练)。另外,这次预测集一共30万张图片(29万噪音图片),如果每次调参时都做30万个预测的话还是很耗时间的。


#7

A卡用户相当拙计,训练起来实在是太慢了,想放弃=。=


#8


我看这里并没有重置训练集,只是把测试集给去掉了。训练集应该还是那么大。


#9

train改成train_val


#10

用mxnet官网里的image classification程序跑了一下,得到了89%正确率,正在搞批测试程序,好捉急


#11

所以最后一个训练集应该是train_valid_data,文档又写错了


#12

是的,这个在改hybridizing的时候复制错了。。。多谢指正,已经pr


#13


学习率调低了一点0.05,试水.


#14

好奇问一下 @xuke@fiercex,你俩用的是cpu还是gpu训练的模型?


#15

我用的是GPU,1050ti,昨晚边看电影边训练,好像第一批次的时候速度慢点 后面的都是一分钟多一点,我改成hybridsequential,为了速度。第一次我觉得应该是有数据从内存拷到显存耗时


#16

要是cpu多长时间?


#17

你可以试试 :joy:


#18

我的1050ti,win下一轮是一分钟多一点。100轮就是两个小时。cpu的话,假设gpu是cpu速度的三倍,那就是六个小时。嗯,半天跑一遍


#19

该参数了吗,跑了多少


#20

基本没改,就把bs改成了128,ep改成了100


#21

噢噢,我也一样,还没跑完,你跑了多少准确率