Octoparseでできること
スクレイピングワークフローの構築
Webページ上のデータを選択し、クリック、ページネーション、スクロールなどの操作を設定して、再利用可能なタスクにします。
データ抽出の実行
Webサイト、タスク設定、自動化要件に応じて、ローカルまたはクラウドでタスクを実行します。
構造化データのエクスポート
CSV、Excel、JSON、Google Sheets、データベース、クラウドストレージなどに結果を出力します。
基本的な流れ
Octoparseのワークフローは、大きく3つの段階で進みます。1
対象サイトを開く
URL、テンプレート、またはカスタムタスクから開始します。Octoparseは内蔵ブラウザでページを読み込み、サイトを確認・操作できるようにします。
2
抽出ロジックを定義する
取得したいデータフィールドを選び、リンクのクリック、ページネーション、スクロール、ログイン、フィールドの整形などのアクションを追加します。
3
実行してエクスポートする
タスクをローカルまたはクラウドで実行し、進行状況を確認したうえで、必要な形式または保存先にデータを出力します。
Octoparseが向いている用途
Octoparseは、Web上にデータは存在するものの、使いやすい構造化形式で提供されていない場合に役立ちます。 一般的な用途は次のとおりです。- 価格モニタリング
- リード獲得
- 市場調査
- 商品・レビュー情報の抽出
- ディレクトリやリスト情報の収集
- 不動産、求人、EC、ソーシャルデータの収集
- 業務レポートや運用フロー向けの定期データ収集
Octoparseではないもの
Octoparseは、汎用的な分析ツール、BIツール、データベースではありません。Webデータの収集と構造化を支援しますが、その後の分析、モデリング、レポート作成は通常ほかのツールで行います。 また、URLを送るだけで標準化されたレスポンスを返すホスト型スクレイピングAPIとも異なります。Octoparseのタスクはワークフローです。サイトの開き方、移動方法、抽出方法、整形方法、エクスポート先を定義します。ブラウザベースの抽出
Octoparseには、タスク作成時にWebサイトを操作するための内蔵ブラウザがあります。通常のタスク作成モードでは、クリックで要素を選択し、アクションを作成します。ログイン、ポップアップの閉鎖、チャレンジ対応など手動操作が必要な場合は、ブラウズモードで通常のブラウザに近い操作ができます。 このブラウザベースの仕組みは、静的HTMLにデータがないサイトや、ページ操作によって抽出内容が変わるサイトで有効です。タスクの挙動は、Webサイトの構造、タスク設定、抽出モード、ローカル実行かクラウド実行かによって異なります。
次に読むページ
コアコンセプト：タスク・フィールド・アクション
Octoparseのタスクを構成する基本要素を理解します。
コードなしでタスクを構築する
ページをクリックして視覚的にスクレイピングワークフローを作成します。
ページのデータを自動検出する
Octoparseにフィールドとページネーションを自動認識させます。
ローカル実行とクラウド実行を比較する
どちらをいつ使うべきかを理解します。
定期実行をスケジュールする
タスクを定期的なスケジュールで自動実行します。
エクスポート形式と出力先
CSV・Excel・JSON・Google Sheets・データベースなどに出力します。
アンチブロッキング：プロキシ・CAPTCHA・フィンガープリント
IPブロック、CAPTCHA、フィンガープリントに対処します。
抽出データの整形とクリーニング
生の値を必要なフィールドに整形します。