目次

Chapter1 スクレイピングとクローラーで効率的にデータを集めていく

1-1 データはWeb上に集まる
Web上に存在するデータの種類
本書が対象とするデータ

1-2 効率的にデータを収集するために行うこと
データ収集の3つのステップ

1-3 どうすれば自動化できるのか？
スクレイピングとクローラー
半自動化プログラムでできること
完全自動化プログラムでできること
本書の進め方

1-4 Webサイトからデータを集める際の注意事項
収集したデータの取り扱いと著作権
Webサイトのリソース圧迫と業務妨害
クローラーとAPI

Chapter2 Excelとブラウザを連携してWebページからデータを収集する

2-2 Excel VBAでWebからデータを収集する
Excelでのデータ収集テクニック
ExcelでVBAが使えるようにする設定
データを収集するためのプログラム

2-2 VBAでIEを操作する仕組み
宣言部分
VBAの関数の宣言
IEの操作

2-3 取得したHTMLから要素を抽出する仕組み
HTMLの構造
HTMLから要素を抜き出すプログラム

2-4 簡単な方法で要素を特定する
ChromeでXPathを抽出する方法
FirefoxでXPathの抽出する方法

2-5 WEBSERVICE関数とFILTERXML関数によるデータ収集
WEBSERVICE関数によるデータ収集
FILTERXML関数によるデータ収集

Chapter3 Googleスプレッドシートを利用して自動的にデータを収集する

3-1 GoogleスプレッドシートとGoogle Apps Scriptを準備する
Googleスプレッドシートとは
Google Apps Scriptとは
関数とクラス

3-2 ImportXML関数を使ってWebからデータを収集する
ImportXML関数の概要
株価データの取得方法
セルの値を利用した取得方法

3-3 Google Apps Scriptを利用してデータを収集する
Google Apps Scriptの使い方
Google Apps Scriptによるスクレイピング
Google Apps Scriptの実行

3-4 指定した時間に定期的にデータを収集する
Google Apps Scriptのトリガー
トリガーの設定方法

Chapter4 スクレイピング専用サービスを利用して手軽にWebからデータを収集する

4-1 import.ioを利用してWebからデータを収集する
import.ioのサービス概要
import.ioの利用方法

4-2 import.ioでスクレイピングを実行する
import.ioへのサインアップ
データの自動抽出
抽出したデータの取得方法
取得する要素の任意指定
APIを使ったデータ抽出

4-3 収集したデータをシート上に保存する
Googleスプレッドシートとの連携
Google Apps Scriptとの連携
Excelとの連携

Chapter5アプリケーションを利用してTwitterからデータを収集する

5-1 アプリを利用して収集した結果を通知する
通知を受け取るためのアプリケーション
IFTTTの概要
Slackの概要
myThingsの概要

5-2 IFTTTを使ってTwitter上でエゴサーチを行う
IFTTTの会員登録
モバイルアプリのインストール
Twitter検索のレシピ作成

5-3 Slackを利用して定期的にRSS情報を収集する
Slackの会員登録
RSSフィードの収集
モバイルアプリからの利用

5-4 myThingsを使ってTwitter上でエゴサーチを行う
会員登録とモバイルアプリのインストール
Twitter検索の組み合わせの作成

Chapter6 ターゲットを絞り込んで、さまざまなデータを自在に収集する

6-1 会社・商品に関する情報を収集する
特定のキーワードを収集する目的
収集・保存・通知方法

6-2 Webから特定の「キーワード」に関する情報を収集・蓄積する
Googleアラートの設定
IFTTTの設定
結果の確認

6-3 Twitterから特定の「キーワード」を含むツイートを収集・蓄積する
IFTTTの設定
結果の確認

6-4 App StoreからiOSアプリのランキングを収集する
ランキングのRSSフィード
ランキングの収集
結果を日付別シートに保存
指定した時間に毎日実行する

6-5 Google PlayからAndroidアプリのランキングを取得する
import.ioを使ったデータ収集
結果をGoogleスプレッドシートに保存
日本語ランキングの取得

6-6 Amazonのカスタマーレビューを収集する
import.ioを利用した収集方法
Googleスプレッドシート＋ImportXMLによる収集方法
Google Apps Scriptを利用した収集方法

6-7 上場企業の時価総額を収集する
銘柄コード一覧の取得
株価に関する情報の収集
時系列で株価データを収集

6-8 Amazonのセール情報を取得する
Amazonのほしい物リスト
ほしい物リストから商品を取得（Excel版）
ほしい物リストから商品を取得する（Google Apps Script版）
Amazonの割引率が高い商品を探す
商品の割引率とポイント還元率の取得（Excel版）
商品の割引率とポイント還元率の取得（Google Apps Script版）

Chapter7 データを収集した後の見せ方と使い方のヒント

7-1 クローラー/スクレイピング開発と関連技術
認証が必要なページからのデータ収集
大規模