近似训练 讨论区

http://zh.diveintodeeplearning.org/chapter_natural-language-processing/approx-training.html

以下这段话是不是有误:
41
如果说是从根节点开始,也就是说给定背景词w_o,走L(w_0) - 1到中心词w_c,所以这边说来达到w_o,我觉得应该是有问题的?!如果说这边的假设是以跳字模型为例,那应该是给定中心词找背景词,也就是二叉树的节点词,要说到达背景词w_o,那应该是从叶子节点w_c开始,按照左右走到根节点,这样相对来说比较符合逻辑。

不知以上是否理解有误,如是,还请见谅,谢谢!

另附:比较喜欢老师的教学方式,相对来说,比较通俗易懂!

请问层序softmax的二叉树是怎么建立的?按照BST来建的吗?

  • 本节中最后一个公式为什么成立?是否能给一些推导,谢谢

采用的是sigmod计算的概率,相当于二分,左右概率之和为1.

感觉可以用数学归纳法证明,你可以试一下~:slightly_smiling_face:

这里的二叉树是Huffman树,权重是语料库中word出现的频率。可自行search构建Huffman的算法

感谢aston老师,这节很精彩。 尤其是负采样引入的很自然,有种醍醐灌顶的感觉。

知其然并知其所以然!感谢^_^

1赞

%E6%8D%95%E8%8E%B7
您好,图里是负采样的推导过程,请问蓝色框里的下标是怎么来的呢,i代表何种意义啊

1赞

ik是第k个负样本在词典中的索引

感觉是写错了,和上面的对应,突然有个i,应该去掉