生成模型-解码策略小结

文档中心

解码方法小结

本文是笔者花费闲暇时间根据工作经历以及阅读文献总结的，如果对于屏幕前的隔着读者有些许帮助，真是欣慰之至。当然，各位读者的支持也是笔者写作的动力。麻烦一键三连。点赞，评论，收藏。

在对话生成任务中，解码策略有自回归与非自回归两种方法。其中自回归的解码策略包括了greedy，beam search，top-k以及top p等方法。每种方法都有自己的优缺点。本文主要是针对上面的解码策略做个汇总，以便读者以及笔者后续查看。
在自回归的解码方法，主要是在inference阶段，输入query，然后decoder一步一步的生成词,后一个词的生成依靠前面生成的词和query，一直到生成终止符停止，最后将所有顺序生成的词连在一起就是一个完整的句子。在每一个step中，模型最后一个一般是来说是dense层，经过softmax之后，会得到一个vocab size的向量。这个过程对于所有的自回归解码策略都是一样的，不同的就是后续的处理流程，
通过上面的描述，我们可以将解码任务抽象为在一个高为max_len(生成句子的最大长度),每个节点有vocab size个子节点的语义树中，寻找一个符合要求的路径。当然在常规的生成任务中，这个路径并不一定是完整的。
本文介绍的解码算法有greedy，beam search，top-k，top-p，mask predict以及levenshtein transformer。如果有其它的算法读者想了解，可以在评论里面补充。