循环神经网络 讨论区


#1

http://zh.diveintodeeplearning.org/chapter_recurrent-neural-networks/rnn.html


#2

对于6,2,4的练习
“如果我们使⽤循环神经⽹络来预测⼀段⽂本序列的下⼀个词,输出个数应该是多少?”
请问输出个数是不是与设定的输出层神经元个数是一样的。


#3

应该是词典中不同词的个数(词典大小)


#4

先声明下,我不是杠精,我就是想问下开头那段,XW是nh矩阵,怎么和1h的b相加呢,求解


#5

http://zh.diveintodeeplearning.org.s3-website-us-west-2.amazonaws.com/chapter_recurrent-neural-networks/rnn.html

上式相加的两项形状不同,因此将按照广播机制相加(参见“数据操作”一节)。


#7

“接下来,我们用一个具体的例子来验证这一点。首先,我们构造矩阵X、W_xh、H和W_hh,它们的形状分别为(3,1)、(1,4)、(3,2)和(2,4)。将X与W_xh、H与W_hh分别相乘,再把两个相乘的结果相加,得到形状为(3,4)的矩阵。”

文中这一段举例,构造W_hh为2x4的矩阵,但W_hh是否应该为方阵,在这里构造为4x4的方阵合适些?


#8

谢谢,上下文很容易把W_hh作为方矩阵

这里我直接改了

下次你可以直接提交pull request,这样就可以变成贡献者了:


#9

好的,希望再有发现的机会。


#10

这里 Momenta 的链接似乎不对,你能帮忙fix一下不


#11

已提交pull request. 非常感谢,特地找个机会给我!


#12

上一个RNN的concat ndarray示例修改应该算是你的贡献~要不然读起来确实容易confuse