カテゴリー:
Webクローラ
閲覧数:116 配信日:2023-04-10 19:23
今回(できれば)取得したかったデータ
教えて!goo
「質問本文」「回答」を含む一覧データ
Yahoo!知恵袋
「質問本文の全文」「回答全文」を含む一覧データ
感想
出だしは良かったのですが
「Octoparse」を操作し始めて割とすぐに「今回取得できたデータ」の抽出&ダウンロードに成功しました。
しかし、それだけでした。
それ以降、5 ~ 6 時間試すも進展はありませんでした。
「Octoparse」の操作勘所と成果について
ページネーションされているデータは(偶然)取得できたのですが、ページネーション先のデータも合わせて取得する方法が最後まで分かりませんでした。
具体例
下記内容のデータは取得できたのですが、
質問A(リンク)
質問B(リンク)
質問C(リンク)
質問D(リンク)
質問E(リンク)
12345次へ
質問B(リンク)
質問C(リンク)
質問D(リンク)
質問E(リンク)
12345次へ
下記内容のデータをまとめて取得する方法が分かりませんでした。
質問A(リンク)
質問B(リンク)
質問C(リンク)
質問D(リンク)
質問E(リンク)
12345次へ
質問B(リンク)
質問C(リンク)
質問D(リンク)
質問E(リンク)
12345次へ
リンク先の質問Aページ
質問Aタイトル
質問A本文
質問A回答
質問A本文
質問A回答
リンク先の質問Bページ
質問Bタイトル
質問B本文
質問B回答
以下略質問B本文
質問B回答
「『下記リンクのテキスト+URLを抽出する』を選びます」と掲載されていますが、どうしても「下記リンクのテキスト+URLを抽出する」が表示されません……。
検索結果ページと詳細ページを同時にスクレイピングの方法
※このページをご覧になられた方の中で、操作方法をもしご存知の方がいたらぜひ教えて(コメントして)ください。