[最佳0.11353! @a1041134926,奖励详见2楼,分数持续更新中] 实战Kaggle比赛:房价预测 讨论区


#249

怎么加入GPU执行的,一直报错RuntimeError: Parameter sequential0_dense0_weight was not initialized on context cpu(0). It was only initialized on [gpu(0)].

设置如下:

y_train = y_train.reshape((num_train, 1))
net.initialize(ctx=mx.gpu(0))
net.collect_params().initialize(force_reinit=True,ctx=mx.gpu(0))
data=data.as_in_context(mx.gpu(0))
label=label.as_in_context(mx.gpu(0))

还是一直报错,这gpu用起来有点麻烦。。。


#250

会报错 一般都是没装好 重新装一遍吧


#251

重装了还是没用的,我现在是mxnet-cu80-1.2的,简单在gpu上创建数据还是可以的。


#252

你是按照教程装的?


#253

你计算的时候是不是和cpu上的对象一起操作了

可以参考下这里的gpu计算代码
http://zh.gluon.ai/chapter_computer-vision/kaggle-gluon-cifar10.html


#254

问题解决了,训练部分没问题,主要是这里
cur_train_loss = get_rmse_log(net, X_train, y_train)
X_train, y_train都是cpu上的,我在开始的时候改成:

X_train = nd.array(X_train,ctx=mx.gpu(0))
y_train = nd.array(y_train,ctx=mx.gpu(0))
X_test = nd.array(X_test,ctx=mx.gpu(0))
就好了,不知道有没有一种方法可以让gpu上的对象和cpu上的对象一起操作时,全都转到gpu上进行操作?


#255

MXNet要求计算的所有输入数据都在同一个CPU/GPU上。这个设计的原因是不同CPU/GPU之间的数据交互通常比较耗时。因此,MXNet希望用户确切地指明计算的输入数据都在同一个CPU/GPU上。例如,如果将CPU上的x和GPU上的y做运算,会出现错误信息。

http://zh.gluon.ai/chapter_gluon-basics/use-gpu.html#GPU上的计算


#256

加了一层隐层,降低学习率,提高wd,目前暂时到这,后面继续

3个月后回来终于进入0.11阶级了,不容易啊


#257


#258

HI,请教一下这样做有什么好处呢?
我试了一下这样的做法,发现和predict y的版本在loss方面差的比较远。以下是比较结果,predict y和predict logy使用同样的网络结构(参考了讨论里的一个同学——添加1个隐层【1024个relu神经元】+0.5概率的dropout),超参数设置如下:

predict y的设置 predict logy的设置
lr=0.05,wd=170 lr=0.1, wd=0

结果train-test-loss图像如下:
%E5%9B%BE%E7%89%87
不知道为什么train/test loss在0.4左右就停止下降了?(predict y的版本是能下降到0.1左右的)
我的修改改动主要如下:
%E5%9B%BE%E7%89%87
%E5%9B%BE%E7%89%87
训练时还是用L2Loss,评价是用上面略作修改的rmse(和之前应该是等价的)
想不明白为什么loss这么快就收敛了,还请@astonzhang 指点迷津


#259


这里是新更新的吗?好像有点问题


在gluonbook的源码中这里只能支持4个或者5个参数,所以不能在一个坐标系里画两条曲线


#260

最后我用matplotlib画的,没有调用gb内的semilogy函数


#261

是有些问题,稍微改一下就好了


#262

这是net打印出来的结构,写进去就是gloun.nn.dense(1)


#263


#264

恭喜刷新了社区的最好成绩 :grinning:
能分享一下你的方法吗


#265

添加了丢弃层,隐藏层为128层
image
我是小白,请多指教:smiley:,瞎撞


#266


#267

小白用户想提个问题问张老师,mxnet在windows安装出错了


是不是因为mxnet在Pypi上只有针对mac用户的安装whl啊?


#268

windows有的,你试试不指定 host,只运行:
pip install mxnet==1.2.1 ?