BERTを一言で言ってしまうと「自然言語で表された色々な物を上手く数値に変換するモデル」です。

自然言語といえば日本語とか英語とか、Pythonと比べたら自然だよねって言語が思い浮かぶと思います。

自然言語で表せるものには、単語とか、文章とか、繋がった文章とか色々ありますよね。

この色々な物をBERT突っ込むだけで、ベクトルや行列みたいな数値を返してくれます。

どんな文章だろうが、コンピュータで扱えるサイズの数値に変換できてしまえば機械学習タスクに投げられます。

機械学習タスクでできそうなことを下に書いてみます。

・文章分類

・文章に対する何かしら得点の予測(回帰)

・チャットボット等ような文章生成

・2文の関係性を分類

BERTはこう言う事をする場合の文章の読み方をコンピュータに教えるわけです。

これまでにも文章表現を出力する方法は色々あったらしいですが、

BERTが凄いのは

・文章の他の要素との関係性を利用することで、語の多義性やニュアンスの違いが分かる

・普通の文章から複数の文章まで入力に取れてしまう

の2点なんだと思います。

BERTを軽くイメージする例として「サマセット・モームを読んでいます」と言う文章を考えてみましょう。

この文章、「サマセット・モームの作品で一番好きなのは『人間の絆』です。」とはちょっと意味が違うとします。

同じサマセットモームでも「本の総称」なのか「著者自身」なのか、みたいな意味論チックな話です。

(僕の考えた中で極端な例を出してみたので、誤読だったなら教えてください。)

NLP