探すきっかけ
状態:随時対応
閲覧数:9,617
投稿日:2010-11-03
更新日:2015-09-23
データを手動で作成すると…
・予算の関係で、「元となるデータ」を手動で作成していた
・実際に実行してみて初めて気が付く
・これは途方もなく大変な作業
そんなとき、
ふと見たサイトで、
気になる内容が掲載されていた。
・個人でWEBサービスを作る際に気をつけなければならないこと 3つ
>いつの間にか、データ作成作業にほとんどの時間を使ってしまう
まさに、そうかも…。
・予算の関係で、「元となるデータ」を手動で作成していた
・実際に実行してみて初めて気が付く
・これは途方もなく大変な作業
そんなとき、
ふと見たサイトで、
気になる内容が掲載されていた。
・個人でWEBサービスを作る際に気をつけなければならないこと 3つ
3) 個別データ
WEBサービスを作っていると、何らかの手作成しなければならない大量のデータが必要になるケースがある。
APIや フリーなデータが入手できればいいが、入手できてもフォーマットが独自すぎてバッチ処理できない、データが完全でない、APIなら利用回数制限などで、そのまま使えないことも多い(僕の場合)。独自のデータというものは、他にはないという意味でそのサービスのアイデンティティにもなりうる。しかしその反面、データの手入力という作業は非常に地味で手間のかかる作業となる。
サービスを作っているつもりが、いつの間にかデータ作成作業にほとんどの時間を使ってしまうといった形にならないように、個別データを作るかどうかは慎重に決定しなければならない
WEBサービスを作っていると、何らかの手作成しなければならない大量のデータが必要になるケースがある。
APIや フリーなデータが入手できればいいが、入手できてもフォーマットが独自すぎてバッチ処理できない、データが完全でない、APIなら利用回数制限などで、そのまま使えないことも多い(僕の場合)。独自のデータというものは、他にはないという意味でそのサービスのアイデンティティにもなりうる。しかしその反面、データの手入力という作業は非常に地味で手間のかかる作業となる。
サービスを作っているつもりが、いつの間にかデータ作成作業にほとんどの時間を使ってしまうといった形にならないように、個別データを作るかどうかは慎重に決定しなければならない
>いつの間にか、データ作成作業にほとんどの時間を使ってしまう
まさに、そうかも…。
一覧
公的系
政府統計の総合窓口(e-Stat)
・活用術
・e-Statナビ
・総務省統計局が中心となり、独立行政法人統計センターが運用しているサイト
・各種統計データがまとまっているほか、各省庁が出す新しい統計データの情報が、日々追加されている
統計局/統計メールニュース
・公表された主な調査結果の要約や統計局ホームページの新着情報、お知らせなどが月5回程度届く
CSV
気象庁
・平成25年5月1日より、CSV形式による過去の気象観測データの公開を開始
・報道発表資料
・青空文庫のAPI化についての資料
・Wimbledon Betting | Tennis Betting | Tennis Results | Tennis Odds
・オープンデータ徹底入門
・企画書に使いたい統計データが見つかる、調査レポートサイト厳選9個+α
・マーケティング・企画書に使える統計サイトまとめ
・DATA GO JP
・インターネット白書ARCHIVES
API
・公開されているAPI一覧【2013年版】
・NHK番組表API
後で確認
・機械学習とかに使えそうなデータセット
・APIを探そう。国内外のインデックスサービスまとめ
・【新人ディレクター向け vol.6】企画書に使える!信頼できるデータの引用元15選
統計力向上
・データサイエンス・スクール 統計力向上サイト
・なるほど統計学園高等部
有料(無料では取得不可)
ISBN
・ISBNデータを入手可能? 書籍情報とISBNの組合せの全データをCSV等で欲しい
isbnデータベースについては、日本書籍出版協会の方で販売しています。
データとしては、70万件ほどあり、日々出版社の方から追加・改訂情報をFTPで送信しているそうです。
年間契約200万円、年度途中からですと月20万円の契約になるそうです
データとしては、70万件ほどあり、日々出版社の方から追加・改訂情報をFTPで送信しているそうです。
年間契約200万円、年度途中からですと月20万円の契約になるそうです
・データベース日本書籍総目録 | 社団法人 日本書籍出版協会
データベースそのもののデータ提供も実施しています。
※データ提供をご希望の方はbooksmaster@toppan.co.jpまでお申し出ください。提供条件などの詳細資料をお送りいたします
※データ提供をご希望の方はbooksmaster@toppan.co.jpまでお申し出ください。提供条件などの詳細資料をお送りいたします
・ISBN検索 Books.or.jp
タウンページ
▽住所録インポート 2.0.4 jusyo204.exe
途中でエラーとなるため、インストール不可。理由不明。
▽Target Approach無料版(無料版は50件制限あり)
http://www.towndata.jp/mpmail3/form.htm
実際にダウンロードして使ってみた。
詳細な検索はムリっぽいけど、思ったより使えるかも…。
操作も簡単だったので、これはスクレイピングするしかないな、とか考えてる場合でもないか…。
念のため製品版の金額を確認してみたら、19,800円だった。
仕事で使うならともかく、個人の遊びで使うには、ちょっと出せる金額ではない…。
どっかに、50件制限じゃなくて、無料版でも、100件までダウンロードできるツールとかないかな…。
iタウンページGETフリー3.0
・2014年2月24日現在、入手不可
元データ以上のデータ
・元データ(iタウンページ)以上のデータが欲しくなってきた
・具体的には、営業時間とか…
・思いつくのは食べログだが、サイトとから、どうにかしてデータ取得できないだろうか?
Close / 中止 / 廃止
食べログ
情報の取り扱いについて
食べログAPIで提供される情報をダウンロードし、保持することはできません。(キャッシュなどは除く)
情報の全部または一部を販売したり変更を加えるなど、二次的に利用することはできません
▽食べログAPI サービス案内[食べログ]食べログAPIで提供される情報をダウンロードし、保持することはできません。(キャッシュなどは除く)
情報の全部または一部を販売したり変更を加えるなど、二次的に利用することはできません
http://tabelog.com/help/api/
これってAPIとして提供してるんだから、その用途で使えってことだよね。確か最近、amazonでも似たような案内があったような気も…。
まあ、でも、言っている内容はその通りなのだが、まいったね…。別にクチコミデータとか、サイト固有の情報じゃなくて、どちらかと言うとお店に紐づいている予算とか、そっちのデータが欲しいだけなんだが…。駄目なんだろうね…、やっぱり…。
統計くん
国勢調査など政府統計データをCSV化してダウンロード/政府API活用