[最佳0.11353! @a1041134926,奖励详见2楼,分数持续更新中] 实战Kaggle比赛:房价预测 讨论区


#166

沐神好,请问一下,在哪里可以看到房价预测的数据集的详细注释,比如每个变量的含义,每条数据的时间分辨率,单位等等?


#167

#168

哦哦,谢谢


#169

总是感觉很惶恐,目前只能慢慢的去调一调参数,添加两个隐层这种工作,很多代码写的什么意思都很难弄懂,要是让我从0开始自己搭建一个训练模型肯定做不出来:joy::joy::joy:


#171

大神們可以分享下,參數不


#172

用了3层的网络,添加了dropout,减少了k值,epoch值,learning_rate和weight_decay都调的很小,最终是0.12275


#173

结果:0.1138

模型:
Sequential(
(0): Dense(1200, Activation(relu))
(1): Dropout(p = 0.1)
(2): Dense(1, linear)
)

learning_rate: 0.1
weight_decay: 25.0


#174

数据特征工程也做了吧?


#175

数据特征还没做, 其实是应该做的


#176

调参真是试出来的,虽然现在效果并没有社区大大做的好,不过还是很有成就感的:grin:
好像有点迟了~~最近刚刚看到这个教程,特别感谢沐神团队!!希望能够慢慢追上进度:stuck_out_tongue:


#177


参数设置:

  1. 加了一个隐藏层,100个unit
  2. 早停,epoch=50;
  3. 学习率和weight decay,lr=0.1; wd=10.0

#178

刷了一周,终于上0.11了

过程:

  1. 强刷net模型
  2. 调参,学习率。直接上grid search
  3. 还是上不去,看了很多kaggle的讨论区,然后做了数据处理。再回来,发现好了很多。
  4. 加了一个xgboost的模型,做集成,感觉更好了。

调参是个艺术活。


#179


冲进了0.11hhhh~


#180


Mark一下,加一个Dense后,纯调了一下给定的几个参数,冲进0.12。之后再调调price对数,feature啥的吧~~~~~


#181

不错啊!明天见面细聊。。


#182

对,我试了一下 loss = square_loss(nd.log(output), nd.log(label)),结果全是nan,所以我就将output剪切到[1, inf],就不会出现nan了。不过这样的loss作为优化函数效果并不好,最后得到rmse_log能有12.0…


#183

一个办法是直接把y做log transform,然后predict log y


#184

对房价取log,会不会对最终模型有影响。
有什么数学依据么,毕竟是对最最重要的房价数据本身做处理耶。


#185

会影响回归分析的假设。如果predict log y,记得把结果换成y就行了


#186

请问这句话意思是y_train_log = nd.log(y_train), 然后建立模型的时候,样本是(X_train, y_train_log),预测值是 y_pre_logloss = square_loss(y_pre_log, y_train_log),最后求rmse指标时,则用
rmse = np.sqrt(2 * nd.sum(square_loss(y_pre_log, y_train_log)).asscalar() / num_train),这样对吗?