出版書誌データベース

【まえがき】※一部抜粋

本書は自然言語処理の入門書です。これから自然言語処理の勉強を始めようとする人向けに最低限知っておいた方がよいと思う基本事項をまとめました。

自然言語処理の基本事項はディープラーニングの台頭により大きく様変わりしたと思います。

今後、自然言語処理がどのように変化していくかは分かりませんが、現状、自然言語処理の基礎は、言語の問題をパターン認識の問題として扱う手法になっていると思います。

ただ自然言語処理の応用分野は広く、パターン認識の問題として扱うにしても基礎となる事項は膨大です。

そのため本書は基本的に文書分類のタスクに的を絞り、その解決を念頭に置いて構成しました。

また基本の文書分類から少し発展した話題として、分散表現、系列ラベリング問題そして事前学習済みモデルの利用についても解説しました。

本書ではプログラム言語としてPython を利用します。ディープラーニングはもちろん、他の機械学習の手法を試すにもPython は最適ですし、スクリプト言語であるため自然言語処理で必要となる各種の処理を簡単に実行することができます。

本書を通して自然言語処理の基礎事項を知り、何らかの自然言語処理システムの構築に役立てたら幸いです。

第1章 文書のベクトル化

1.1 文書分類とその入力

1.2 単語分割

1.3 N-gram

1.4 Bag-of-words

1.5 TF-IDF

1.6 Latent Semantic Analysis

第2章 分散表現

2.1 分散表現とは

2.2 cos 類似度

2.3 word2vec

2.4 doc2vec

第3章 分類問題

3.1 分類問題とは

3.2 分類問題と教師あり学習

3.3 Naive Bayes

3.4 文書分類の評価

3.5 ロジスティック回帰

3.6 Support Vector Machine

3.7 ニューラルネットワークとディープラーニング

3.8 半教師あり学習

第4章 系列ラベリング問題

4.1 系列ラベリング問題とは

4.2 系列ラベリング問題のタスク

4.2.1 単語分割

4.2.2 固有表現抽出

4.3 系列ラベリング問題の解法

4.3.1 HMM

4.3.2 CRF

4.3.3 LSTM

第5章 BERT

5.1 事前学習済みモデルとは

5.2 BERT の入出力

5.3 BERT 内部の処理

5.3.1 Transformer

5.3.2 Position Embeddings

5.3.3 BertLayer

5.3.4 Multi-Head Attention

5.4 BERT による文書分類

5.5 BERT による系列ラベリング

5.6 Pipeline によるタスクの推論

5.6.1 評判分析

5.6.2 固有表現抽出

5.6.3 要約

5.6.4 質問応答

5.6.5 テキスト生成

5.6.6 Zero-shot 文書分類

著：新納 浩幸
1961 年長崎県生まれ。

1985 年 東京工業大学理学部情報科学科卒業。

1987 年同大学大学院理工学研究科情報科学専攻修士課程修了。

現在、茨城大学工学部情報工学科教授、博士（工学）。

専門分野は自然言語処理、機械学習、統計学。関連の著書多数。

著：古宮 嘉那子
2005 年東京農工大学工学部情報コミュニケーション工学科卒。

2006 年同大学院工学教育部情報コミュニケーション工学専攻博士課程前期修了、

2009 年同大学大学院電子情報工学専攻博士後期課程修了。博士（工学）。

同年東京工業大学精密工学研究所研究員、2010 年東京農工大学工学研究院特任助教、

2014 年茨城大学工学部情報工学科講師。2021 年東京農工大学工学研究院准教授。現在に至る。

自然言語処理の研究に従事。情報処理学会、 人工知能学会、 言語処理学会、ACL 各会員。

2018 年より電子情報通信学会言語理解とコミュニケーション研究会研究専門委員、

2019 年より言語処理学会代議員、2020 年より情報処理学会自然言語処理研究会幹事。