ChatGPTもClaudeも、この論文の子孫

無料 02:17 ゼロから学ぶ生成AIの歴史

9次のレッスン

この動画を3行で要約

2017年の1本の論文が今のAIの共通の土台だと扱います。
Transformerの登場からGPT-3までの流れを解説します。
技術ができた年と広く届いた年は別だという見方を持てます。

章タイムスタンプ（7章）

この動画をテキストで読む（約3分）

オープニング：2017年の論文が、今の共通の土台になった

動画の冒頭では「2017年の論文が、今の共通の土台になった」というメッセージだけが先に示されます。名前も会社も違うAIが、どこか似ている理由を1本の論文から追う回です。

2017年、「Attention Is All You Need」

こんにちは、しゅうへいです。今日は、2017年に出た1本の論文の話をします。タイトルは「Attention Is All You Need」。ここで出てきた仕組みが、今の主要な会話AIの共通の土台になりました。名前も会社も違うAIが、どれも似ている理由がここにあります。今のAIの形を決めた年として、よく名前が挙がる1年です。

この論文の名前は、Transformer

この論文で出てきた仕組みの名前が、Transformerです。文章のどこに注目するかを、うまく扱えるようにした仕組みです。細かい中身よりも、ここが分かれ目になったという事実のほうが大事です。

名前も会社も違うAIが、似ている理由

今、いろんな会社の会話AIがあります。名前も、作っている会社も違うのに、どこか似ています。理由はここです。主要な大規模言語モデルは、この2017年の仕組みを共通の土台にしています。バラバラに見えていたものが、1つの根からの枝分かれとして並ぶわけですね。会社ごとに味つけは違いますが、土台の部分は共通しています。似た使い心地の背景には、この共通の土台があります。

2018年GPT・BERT、2020年GPT-3

2018年に、GPTとBERTが出ます。2020年には、GPT-3。同じ土台のうえで、モデルをどんどん大きくする流れが進みます。仕組みそのものを取り替えるのではなく、同じ仕組みを大きくしていく。

技術ができた年と、届いた年は別

ただし、この時点ではまだ、一般の人の手元には届いていません。基礎の技術ができた年と、みんなが体験する年は別なんですよね。基礎技術の節目は2017年で、そこからしばらくは研究と開発の中にありました。まだ多くの人の、日常の体験にはなっていませんでした。ぼくを含めた大半の人には、まだ関係のない話でした。土台はできあがっているのに、日常にはまだ降りてきていない。そういう時間があったということです。できたものが日常に降りてくるまでには、時間がかかります。ニュースになる前の期間にこそ、大事なものができあがっている。AIの歴史を追っていると、この形が何度も出てきます。