BERT 是如何变得如此聪明的？ 让我们来看看关于 BERT 一个更简单的理论。 谷歌对维基百科文本和可以为这些大型模型提供动力的计算能力（他们在 V3 舱中组装的 TPU）收取了大量费用。然后，他们使用无监督神经网络对维基百科的所有文本进行训练，以便更好地理解语言和上下文.۔ 其学习方式的有趣之处在于，它可以获取任意长度的文本（这很好，因为我们说话的方式非常随意），然后将其转录为向量。
向量是一串固定的数字。这有助于将语言翻译成机器语言 冰岛电报数据库 它确实发生在我们无法想象的狂野的 n 维空间中。将相同的上下文语言放入相同的区域。 与 Word2vec 一样，为了变得越来越智能，BERT使用了一种称为掩蔽的技术 。 当一个随机的单词隐藏在句子中时就会发生掩蔽。 BERT 是一个二维模型，它通过查看隐藏单词前后的单词来猜测该单词是什么。
它会重复此操作，直到它足够强大到可以预测被掩盖的单词。然后可以进一步完善它，以执行 11 种最常见的自然语言处理任务。真的，真的很令人兴奋，在这个地方度过了一段有趣的时光。 什么是 BERT？ بی ای آر ٹی任务، 本质上成为自然语言处理和理解的火箭助推器۔ بی آر ٹی具有深度双向性，这意味着它会在维基百科上预先训练的实体和上下文前后的单词,以提供更丰富的语言理解. 请有这个白板星期五来了解有关 无监督 模型的更多背景信息. برٹ 不能做什么? ایلیسن ایٹنگر 写了一篇非常棒的研究论文，名为《BERT 不能做什么》她的研究最令人惊讶的结论是否定诊断领域，这意味着 برٹ 例如，当输入 Robin ایک… 时，它预测是 پرندہ ہے，这是正确的，这很棒。