このエントリーの結論 ／「Octoparse」の操作勘所 ／ 今回取得できたデータ

このエントリーの結論

「教えて!goo」と「Yahoo!知恵袋」を「Octoparse」でスクレイピング
自分の質問データ一覧を取得することが目的。
100 %期待した通りに取得できませんでしたが、最低限取得したいデータのダウンロードには成功しました。
※無料で取得＆ダウンロードできました。

「Octoparse」の操作勘所

ログインが必要なWebページからデータ取得
「操作ヒント」から「ログインする」を選択するのではなく「テキストを入力する」を選択します。

今回取得できたデータ

教えて!goo
「質問タイトル」「質問日時」「質問URL」を含む一覧データ
※「教えて!goo」で表示されている質問件数は「995 件」。差分が発生している理由は不明。

Yahoo!知恵袋
https://chiebukuro.yahoo.co.jp/my?fr=common-navi&sort=21#ListSection
「質問本文の一部」「質問日時」「質問URL」「ベストアンサーの回答本文の一部」を含む一覧データ
※大前提として「Yahoo!知恵袋」には、「教えて!goo」とは異なり「質問タイトル」項目がありません。
※「教えて!goo」で表示されている質問件数は「562 件」。差分が発生している理由は不明。