BERT是由Google提出的预训练语言模型，它基于transformer架构，被广泛应用于自然语言处理领域，是当前自然语言处理领域最流行的预训练模型之一。而了解BERT需要先了解注意力机制与Transformers。
