出版書誌データベース

対話型サービスChatGPTは驚きをもって迎えられ、IT企業間で類似サービスをめぐる激しい開発競争が起こりつつある。それらを支える大規模言語モデルとはどのような仕組みなのか。何が可能となり、どんな影響が考えられるのか。人の言語獲得の謎も解き明かすのか。新たな知能の正負両面をみつめ、今後の付き合い方を考える。



■著者からのメッセージ

　本書では大規模言語モデルの可能性と課題、その仕組みを一般の方に向けて書きました。また最新の研究成果にもとづいて現時点でわかっている知見や将来の展望もまとめています。

　本書では大規模言語モデルのもつ大きな可能性とともに、考えられるリスクについても述べています。そのリスクは非常に大きく、人類社会を脅かす可能性もゼロではない以上、よく向き合うべきだという懸念が世界的に示されています。今後、そうした可能性には具体的にどのようなものがあるかを検討し、どうすれば対応していけるのか、考えていく必要があります。

　本書の後半では、これまで機械はなぜ人のように話せなかったのか、どのように言語モデルと機械学習が発展してきたのか、そして、ChatGPTを実現した大規模言語モデルはどのような仕組みであるのか、数式を用いずに解説しています。

　しかしながら、大規模言語モデルがなぜこのように成功したのか、まだわかっていないところも多いのです。さらに言えば、私たちはまだ、なぜ人がうまく言語を獲得でき運用できるのか、深く理解できていません。大規模言語モデルと人の言語獲得には、解明すべき謎が多くあるのです。

　今後、大規模言語モデルを人類が適切に扱えるようにしていくことが重要です。本書が大規模言語モデルを理解する一助になれば幸いです。

序章　チャットGPTがもたらした衝撃
　登場から二カ月で月間一億人が利用するサービスに
　大規模言語モデルはこれまでにない汎用サービスを実現する
　生活や社会を変えうる
　社会への脅威となりうる
　言語獲得の謎は解けるのか
　新しい知能との付き合い方

1　大規模言語モデルはどんなことを可能にするだろうか
　文書の校正・要約・翻訳
　プログラミングのサポート
　ウェブ検索エンジンの上位互換
　言語を使った作品を作る
　言語以外を使った作品を作る
　カウンセリング、コーチング
　学習のサポート
　高度な専門性が必要な仕事のサポート
　人にやさしいインターフェース
　科学研究の加速
　演繹的なアプローチと帰納的なアプローチの融合

2　巨大なリスクと課題
　情報の信憑性――幻覚
　幻覚の解決は簡単ではない
　誤った情報の拡散
　プライベートな領域に入り込む
　価値観や偏見の扱い方
　本人であることの証明が難しくなる
　変わる仕事、残る仕事
　AIの補助で仕事の構造が変わっていく
　大規模言語モデルの開発が一部に独占される

3　機械はなぜ人のように話せないのか
　人は言語をどのように獲得し、運用しているのか
　私たちは言語をいつのまにか獲得している
　自然言語処理と機械学習
　これまでの機械学習では言語獲得・運用は難しかった

4　シャノンの情報理論から大規模言語モデル登場前夜まで
　意味をなくし確率を使って情報を表わす――革命的だったシャノンの情報理論
　どの文がもっともらしいか――言語モデル
　言語モデルは言語を生成することができる
　消された単語を予測することで言語理解の能力を獲得する
　多様な訓練データをタダでいくらでも入手できる自己教師あり学習
　問題の背後にある法則やルールを理解できるか――汎化
　実験結果は言語モデルが意味や構造を理解していることを示唆する
　言語モデルは文の意味を理解し、かつ文も生成できる
　　《コラム》圧縮器としての言語モデル
　データを生成できるモデルの発展
　　《コラム》人も言語モデルから学習しているのか

5　大規模言語モデルの登場
　限界への挑戦
　言語モデルの「べき乗則」の発見
　データと計算力があれば知能が獲得できる
　モデルを大きくすると問題が急に解けるようになる
　　《コラム》普遍文法と現在の大規模言語モデル
　大規模化はどこまで進むのか
　　《コラム》人の脳とAI
　プロンプトで変わるAIの使い方
　AIを使った開発は誰でもできるようになる
　人によるフィードバックを与える

6　大規模言語モデルはどのように動いているのか
　ニューラルネットワークの進化
　ニューラルネットワークの学習――誤差逆伝播法
　汎化――未知のデータの予測へ
　ディープラーニングの登場
　　《コラム》アレックスネット開発の裏側
　なぜディープラーニングはここまで成功したのか
　　《コラム》モデルサイズと汎化の謎
　データの流れ方を学習し、短期記憶を実現する注意機構
　大規模言語モデルを実現したトランスフォーマー
　指示を受け、その場で適応していく本文中学習
　人間に寄り添う生成のための目標駆動学習
　チャットGPTでの矯正法

終章　人は人以外の知能とどのように付き合うのか
　道具としての大規模言語モデル
　間違いもするし、自分と考え方も違う人のように付き合う
　人はこうしたツールを飼いならせるのか
　コンピュータ将棋、囲碁のケース
　人間自身の理解へ

　あとがき

著：岡野原 大輔
岡野原大輔(おかのはら・だいすけ)
1982年生まれ。2010年東京大学大学院情報理工学系研究科博士課程修了、情報理工学博士。2006年Preferred Infrastructureを共同で創業、2014年Preferred Networks(PFN)を共同で設立。PFN代表取締役最高研究責任者およびPreferred Computational Chemistry代表取締役社長を務める。著書に『高速文字列解析の世界――データ圧縮・全文検索・テキストマイニング』『拡散モデル――データ生成技術の数理』(岩波書店)ほか。