出版書誌データベース

【基礎から最先端のBERTまで、ディープラーニングによる自然言語処理をコードを動かしながら楽しく学ぶ】

ディープラーニングによる自然言語処理の基礎から応用までコードを動かしながら学べる書籍です。文書分類、評判分析、固有表現認識の3つの実践的なタスクを通じて、ディープラーニングによる自然言語処理を理論と実装の双方の側面から学ぶことができます。

■基礎から最先端のBERTまでを解説
ディープラーニングのモデルとして、bag-of-embeddings、CNN、LSTM、BERTの4つを解説しています。
基礎的なモデルから最先端のBERTまでを一冊で学べます。

■Pythonライブラリ「AllenNLP」を使ったモデル開発
ディープラーニングによる自然言語処理のためのPythonライブラリ「AllenNLP」を使えば、JSON形式の設定ファイルを書くだけで、一からプログラミングせずに自然言語処理のモデルを簡単に実装することができます。本書では、AllenNLPを使用したモデルの実装の方法について、基礎から丁寧に解説します。

■日本語のデータセットを使用
日本語のデータセットを使用して解説されており、作成したモデルをそのまま現場で使うことができます。

■Google Colabですぐに動かせる
解説に使用されているコードは、Google Colabを通じて、ウェブブラウザ上で環境構築なしですぐに動かすことができます。

第1章 はじめに
1.1 自然言語処理とは
1.2 自然言語処理とディープラーニング
1.3 数式の表記

第2章 ニューラルネットワークの基礎
2.1 教師あり学習
2.2 パーセプトロンによる文書分類
2.3 ニューラルネットワーク
　2.3.1 活性化関数
　2.3.2 確率的勾配降下法と誤差逆伝播法
　2.3.3 ハイパーパラメータ
2.4 訓練，検証，テスト
2.5 PyTorch
　2.5.1 テンソルの作成と操作
　2.5.2 テンソルを用いた演算
　2.5.3 計算グラフと自動微分
　2.5.4 GPUの使用

第3章 文書分類モデルの実装
3.1 AllenNLPとは
3.2 自然言語処理のモデルの開発の流れ
3.3 Livedoorニュースコーパス
3.4 AllenNLPでモデルを実装する2つの方法
3.5 開発を始める前の準備
　3.5.1 環境のセットアップ
　3.5.2 データセットのセットアップ
3.6 Pythonコードによるモデルの開発
　3.6.1 乱数シードの指定
　3.6.2 トークナイザの実装
　3.6.3 データセットリーダの作成
　3.6.4 データローダの作成
　3.6.5 語彙とトークンインデクサ
　3.6.6 ミニバッチの生成
　3.6.7 bag-of-embeddingsモデル
　3.6.8 単語エンベディングの作成
　3.6.9 文書のベクトルの作成
　3.6.10 分類器の作成
　3.6.11 最適化器の作成
　3.6.12 トレイナの作成
　3.6.13 モデルの訓練
3.7 設定ファイルによるモデルの開発
　3.7.1 設定ファイルの作成
　3.7.2 モデルの訓練
　3.7.3 TensorBoardによる指標の確認
　3.7.4 性能の評価
　3.7.5 学習したモデルを使う

第4章 評判分析モデルの実装
4.1 畳み込みニューラルネットワーク
4.2 データセットのセットアップ
4.3 モデルの関発
　4.3.1 実　装
　4.3.2 モデルの訓練
　4.3.3 性能の評価
　4.3.4 学習したモデルを使う
4.4 ハイパーパラメータ探索

第5章 固有表現認識モデルの実装
5.1 リカレントニューラルネットワーク
　5.1.1 双方向リカレントニューラルネットワーク
　5.1.2 long short-term memory
5.2 データセットのセットアップ
5.3 モデルの関発
　5.3.1 実　装
　5.3.2 モデルの訓練
　5.3.3 性能の評価
5.4 出力の視覚化

第6章 BERTの背景とその理論
6.1 BERTを理解するまでの準備
　6.1.1 BERT以前のディープラーニングの問題点
　6.1.2 自己教師あり学習
　6.1.3 転移学習
　6.1.4 ELMo
　6.1.5 Transformer
　6.1.6 GPT
6.2 BERT
　6.2.1 BERTのモデル構造
　6.2.2 入力表現
　6.2.3 事前学習
　6.2.4 ファインチューニング

第7章 BERTによる日本語解析
7.1 AllenNLPにおけるBERTの利用
　7.1.1 transformers
　7.1.2 サブワード分割
　7.1.3 BERT日本語モデル
　7.1.4 BERTが関係するモジュール
7.2 BERTの日本語タスクへの適用
　7.2.1 文・文章分類問題
　7.2.2 固有表現認識
　7.2.3 訓練データを減らした場合の性能
7.3 BERTの登場以降
　7.3.1 モデルの改良
　7.3.2 生　成
　7.3.3 言語モデル
　7.3.4 軽量化・高速化
　7.3.5 マルチモーダル

参考文献
索　引