気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
Tokyo O life - ずばぴたテック » WikipediaのダンプデータをDBに投入する
65 users
www.zubapita.jp
www.zubapita.jp
www.zubapita.jp
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
最近、Wikipediaのデータを引用して表示するサービスが良くある。どうやって、実現しているのか？ Wikip... 最近、Wikipediaのデータを引用して表示するサービスが良くある。どうやって、実現しているのか？ Wikipediaには、収録データをHTMLではなくXMLで返してくれるモードもあるが、これはWebブラウザ向けのサービスで、PHPなどでアクセスして取得しようとすると、403のエラーで拒否される。また、「サーバーに負担がかかるので、クローリングしないでください」と明記されている。 その代わり、Wikipediaの全データをXML形式でダンプしたものが自由にダウンロードできるようになっている。これを読み込んで、自分のデータベースサーバに投入して使えばいいのだ。データベースはMySQLやPostgreSQLに対応し、投入用のツールも用意されている。 Wikipediaのシステムである、MediaWikiのソースコードも提供されていて、これに含まれているimportDump.phpを使う例が上
www.zubapita.jp
www.zubapita.jp
www.zubapita.jp
www.zubapita.jp
anond.hatelabo.jp
proxia.hateblo.jp
jp.reuters.com
togetter.com
www.itmedia.co.jp
www.ketancho.net
www.apple.com
togetter.com
news.yahoo.co.jp
gigazine.net
gihyo.jp
www.itmedia.co.jp
onaji.me
tech.nri-net.com
tech.nri-net.com
www.hotpepper.jp
2015/05/28 リンク