导语：小模型高精度，效率显著优于 MLM。 雷锋网 AI 源创评论按：近日，谷歌宣布将 AI 语言模型 ELECTRA 作为 TensorFlow 之上的开源模型发布。该方法用到了一种称为替换令牌检测（RTD）的新预训练任务，使其能够在从所有输入位置学习的同时，训练双向模型。