レビューから得られるデータ
レビューページからは、分析に使える構造化データを取得できます。
本文とスコアを組み合わせると、「スコアは高いが不満が書かれている」といった、点数だけでは見えない傾向を分析できます。
データソースの選び方
分析対象に応じて、レビューのソースを選びます。- EC・商品レビュー：Amazonや楽天市場の商品レビューから、商品評価や購入者の声を集めます。Amazonをスクレイピングする方法、楽天市場をスクレイピングする方法を参照してください。
- 店舗・サービスの口コミ：食べログやYelpの口コミから、店舗評価やエリアの評判を集めます。食べログをスクレイピングする方法、Yelpをスクレイピングする方法を参照してください。
- 地図サービスのレビュー：Googleマップのレビューから、ローカルビジネスの評判を集めます。Googleマップをスクレイピングする方法を参照してください。
- SNS・フォーラム：投稿から、商品やブランドへの評判・話題量を集めます。
収集の設計
分析に使えるレビューデータにするには、収集の段階で設計しておくことが重要です。- 分析対象を定義する（商品、店舗、ブランド、期間）
- 取得するフィールドを決める（本文、スコア、日付は最低限）
- 収集方法を選ぶ（過去分の一括収集か、新着の定点観測か）
- 重複を排除する（同一レビューの重複、再投稿を判定する）
- 正規化する（言語、文字コード、スコアの尺度をそろえる）
分析への展開
収集・正規化したレビューデータは、さまざまな分析につなげられます。- センチメント分類：本文をポジティブ／ネガティブ／中立に分類し、割合の推移を追う
- トピック抽出：頻出する話題（価格、品質、配送、接客など）を抽出し、不満点を特定する
- 評価の時系列推移：スコアやネガティブ率の変化から、施策や不具合の影響を測る
- 商品・店舗の比較：競合や自社内の商品・店舗を、評価とレビュー内容で比較する
- スコアとテキストの相関：点数と本文の内容のずれから、点数だけでは見えない実態を把握する
注意点
- レビュー本文の著作権：レビュー本文は著作物性が高く、取得できることと、転載・再配布・二次利用してよいことは別問題です。分析目的での内部利用と、公開・再配布は区別して扱います。
- 個人情報：投稿者名などの個人情報は最小限にし、分析に不要なら収集・保存しません。
- robots.txt・利用規約：対象URL単位でクロール可否と規約を確認します。
- サーバー負荷：定期収集では取得頻度と件数を抑えます。
Octoparseでの実装
Octoparseはヘッド付きの実ブラウザでページを描画するため、追加読み込みで表示されるレビューも取得できます。過去レビューの一括収集と、新着レビューの定期収集の両方を視覚的に設定でき、クラウド実行で継続的に蓄積できます。 定期収集の設定はスケジュール実行、取得したレビューの整形には抽出データの整形とクリーニングが使えます。関連リソース
- 市場調査・競合分析のためのデータ収集 — 評判を含む競合の全体像を追う
- ECサイトのデータ収集 — 商品・価格とあわせたレビュー収集
- Amazonをスクレイピングする方法 — 商品レビューのデータソース
- 食べログをスクレイピングする方法 — 店舗口コミのデータソース
- Webスクレイピングは合法か — 収集の合法性と利用範囲