关于掩码

掩码是为了缓解自动编码语言模型中的数据泄漏问题而提出的解决方案。

  1. 随机掩码
    bert的原始掩码策略。在一个句子中随机遮掩15%的标记单词，对这这样的15%单词进行下列操作：
    • 80%用[MASK]遮掩
    • 10%随即替换成词汇表中的其他单词
    • 不做处理
      15%是实验的最优比例
      2 . 全词掩码
      3… N-gram掩码
#BERT
关于掩码
http://example.com/2023/12/09/关于掩码/
作者
Z
发布于
2023年12月9日
许可协议