本文由同步，最新版本请查看原文：
补充了NLP中相对冷门的CNN，谈了谈调参与发论文的潜规则。从RNN到CNNRNN无法利用未来的特征预测当前单词，就算是bi-RNN，也不过是双向重蹈覆辙而已。经常把过多注意力放到最后一个单词上。比如，如果只想得到my birth的向量，RNN就无能为力了，因为它捕捉的是从左到右的“上文”。与此对应，softmax也是加在最后一个单词上的CNN的解决思路说来也很简单粗暴，那就计算相邻的ngram，不管它到底是不是真正的短语，眉毛胡子一把抓地为它们计算向量。什么是卷积定义在两个矩阵上的函数，生成另一个矩阵（也... 继续阅读： »
原文链接：
感谢阅读本文，欢迎 或访问获取更多内容