「教えて!goo」と「Yahoo!知恵袋」を(止むを得ず)「Octoparse」でスクレイピング。自分の質問データ一覧を取得したかったのですが、100 %期待した通りに取得できませんでした(が、最低限取得したいデータのダウンロードには成功しました)。

ソフトウェア ＞ Webクローラ

目次一覧

　状態:- 　閲覧数:1,164 　投稿日:2023-04-10 　更新日:2023-04-10
経緯
「教えて!goo」も「Yahoo!知恵袋」も「Twitter」同様備忘録用途には向いていないと思われるので、投稿件数が多い方は注意した方がよいかも。後からの振り返りには向いていません。

このエントリーの結論 ／「Octoparse」の操作勘所 ／ 今回取得できたデータ

今回(できれば)取得したかったデータ ／ 感想 ／ 具体例

このエントリーの結論 ／「Octoparse」の操作勘所 ／ 今回取得できたデータ

　閲覧数:284　投稿日:2023-04-10　更新日:2023-04-10

このエントリーの結論


「教えて!goo」と「Yahoo!知恵袋」を「Octoparse」でスクレイピング
自分の質問データ一覧を取得することが目的。
100 %期待した通りに取得できませんでしたが、最低限取得したいデータのダウンロードには成功しました。
※無料で取得＆ダウンロードできました。

「Octoparse」の操作勘所


ログインが必要なWebページからデータ取得
「操作ヒント」から「ログインする」を選択するのではなく「テキストを入力する」を選択します。

今回取得できたデータ


教えて!goo
「質問タイトル」「質問日時」「質問URL」を含む一覧データ
実行時間　56分4秒
データ件数　1015件0件重複
※「教えて!goo」で表示されている質問件数は「995 件」。差分が発生している理由は不明。

Yahoo!知恵袋
https://chiebukuro.yahoo.co.jp/my?fr=common-navi&sort=21#ListSection
「質問本文の一部」「質問日時」「質問URL」「ベストアンサーの回答本文の一部」を含む一覧データ
※大前提として「Yahoo!知恵袋」には、「教えて!goo」とは異なり「質問タイトル」項目がありません。
実行時間　3分13秒
データ件数　564件0件重複
※「教えて!goo」で表示されている質問件数は「562 件」。差分が発生している理由は不明。

今回(できれば)取得したかったデータ ／ 感想 ／ 具体例

　閲覧数:307　投稿日:2023-04-10　更新日:2023-04-10

今回(できれば)取得したかったデータ


教えて!goo
「質問本文」「回答」を含む一覧データ

Yahoo!知恵袋
「質問本文の全文」「回答全文」を含む一覧データ

感想


出だしは良かったのですが
「Octoparse」を操作し始めて割とすぐに「今回取得できたデータ」の抽出＆ダウンロードに成功しました。

しかし、それだけでした。
それ以降、5 ～ 6 時間試すも進展はありませんでした。

「Octoparse」の操作勘所と成果について
ページネーションされているデータは(偶然)取得できたのですが、ページネーション先のデータも合わせて取得する方法が最後まで分かりませんでした。

具体例


下記内容のデータは取得できたのですが、
質問A(リンク)
質問B(リンク)
質問C(リンク)
質問D(リンク)
質問E(リンク)
12345次へ

下記内容のデータをまとめて取得する方法が分かりませんでした。
質問A(リンク)
質問B(リンク)
質問C(リンク)
質問D(リンク)
質問E(リンク)
12345次へ

リンク先の質問Aページ
質問Aタイトル
質問A本文
質問A回答

リンク先の質問Bページ
質問Bタイトル
質問B本文
質問B回答
以下略


「『下記リンクのテキスト+URLを抽出する』を選びます」と掲載されていますが、どうしても「下記リンクのテキスト+URLを抽出する」が表示されません……。
検索結果ページと詳細ページを同時にスクレイピングの方法


※このページをご覧になられた方の中で、操作方法をもしご存知の方がいたらぜひ教えて(コメントして)ください。

連番(カウントアップされる数字の)URLから一括ダウンロードするためには、ソフトウェア「連番ちゃん」を使用します。



類似度ページランキング
順位 ページタイトル抜粋 ％
1 「教えて!goo」と「Yahoo!知恵袋」を(止むを得ず)「Octoparse」でスクレイピング。自分の質問データ一覧を取得したかったのですが、100 %期待した通りに取得できませんでした(が、最低限取得したいデータのダウンロードには成功しました)。 64
2 Audacity で再生ボタンを押しても音が鳴らない時は、再生レべルスライダーを右にドラッグして「再生レべル:100%」にします。 32
3 「FastCopy ver4.2.0」で移動(全上書き)が何時まで待っても正常終了しない場合は、ソフトウェアを通常終了(強制終了しますか？と問われます)後、パソコンを再起動します。 31
4 「 30
5 「Tablacus Explorer」でアクティブタブに背景色を付けるためには、「タブをデザイン」アドオンをインストールします。 30
6 「切り取り」が出来なかったり、「このディスクは書き込み禁止になっています」と表示される場合は、「カードリーダー」を疑う 28
7 ScrapeStormは、無料でデータダウンロード出来ません 28
8 「ファイルまたはディレクトリが壊れているため、読み取ることができません。」は闇が深い。「FastCopy」「FINALDATA フォトリカバリー9.0 無料体験版」を試してみる。 28
9 「コンテナー内のオブジェクトを列挙できませんでした」と表示される場合は、「Everyone にフルコントロール権限を与えて全て削除する」 28
10 「Windowsへインストールしたソフトウェア」の「インストール先」と「すべての関連フォルダパス」を確認するためには、「Geek Uninstaller」経由で「レジストリエディタ」を起動します。 28
11 エクスプローラの右クリックメニュー「Microsoft Defender でスキャンする」が表示されなくなりました。→ 勘違いかもしれません 28
12 「Windows 10」へインストールした「mp3DirectCut 2.36」で「.aacファイル」を読み込んで自動分割する。 28
13 AutoHotkey挫折。「Ctrl」キーを押しながら「V」は、カレントディレクトリにしか「貼り付け」できません。 27
14 Windows Search Indexerのインデックスの範囲をスタートメニューだけにしたが、フリーズ発生(2019/7/12) 27
15 「Windows 10」パソコンのタスクマネージャーで「GPU」が表示されない(グレイアウトされる)理由は、WDDMドライバがWDDM2.x以上ではなかったから 27
16 「Ctrl」キーを押しながら「V」は、カレントディレクトリにしか「貼り付け」できません。 27
17 Windows10でadministratorでログインしているのにTempファルダ内を削除できない場合は、再起動する 27
18 Windows Media Player 12 は Windows の一部として提供されているため、個別にダウンロードすることはできない 27
19 秀丸エディタでグレップ置換時に確認ダイアログを表示させないようにするためには、『「grepして置換」を実行する前に確認』のチェックを外す 27
20 Windows 10 で、いつの間にかエクスプローラーがフリーズするようになった場合は、パソコン再起動ではなく、電源を一旦終了してみます 27
2026/8/28 14:35 更新
週間人気ページランキング ／ 8-21 → 8-27
順位 ページタイトル抜粋 アクセス数
1 Windows 0 14
2 ネットワーク通信でエラーが発生しました 5
3 FreeFileSync | ソフトウェア 4
3 No7.HD-LBV3.0TU3/N の最後 | ハードディスクトラブル 2016年(ハードウェア) 4
3 3 ／ HD-ES500U2はSATA接続 ／ 分解後、UD-505SAで直接接続してデータ確認に成功 | 外付けハードディスク(ハードウェア) 4
3 FileZillaでディレクトリ内容が表示されない理由は、「ディレクトリリストのフィルタリング」の「Source control directories」にチェックを入れているから | FileZilla(ソフトウェア) 4
3 Windows7のフォルダ構成思想 | Windows7(Windows) 4
4 バッチファイル | Windows 3
4 VAIO の液晶ディスプレイが、しばらく触っていないと暗くなり、操作できなくなる | ディスプレイ(ハードウェア) 3
4 不定期でインターネットへ接続できなくなる。「192.168.11.1」へも接続できなくなる | ネットワーク 3
4 動画から音声だけを取得するためには「VLC media player」を使用。音声から動画形式のファイルを作成するためにも「VLC media player」を使用 | VLC media player(ソフトウェア) 3
4 HotkeyP | ソフトウェア 3
4 デフォルト設定 ／ 以前の情報 3
4 「Explzh」でコンテキストメニューの特定項目だけを非表示へ変更するためには、オプション画面右上の「詳細設定[管理者](L)」ボタンをクリックします。 | Explzh for Windows(ソフトウェア) 3
4 FreeFileSync 試行錯誤履歴 | FreeFileSync(ソフトウェア) 3
4 「右に回転」削除ではなく「右に回転」非表示を採用した理由 ／ 「右に回転 左に回転」を非表示にするためには？ ／「右に回転 左に回転」非表示操作手順 3
4 秀丸で正規表現 | 秀丸エディタ(ソフトウェア) 3
4 ダイレクトパスワードは数字4桁 | 三菱東京UFJ銀行(インターネットバンキング) 3
4 「起動しなくなったPC」で利用していた「Chromeブックマーク」を、「別PCへ接続した内蔵HD」から利用できる？ | ハードウェア 3
4 「Peer Name Resolution Protocol」 「Peer Networking Grouping」「Peer Networking Identity Manager」を無効にしました。 | フリーズトラブル 2021年 (Windows) 3
2026/8/28 5:05 更新