【GoogleAppEngine】バルクローダーを使う【Datastore】 2011-07-24 03:27:03 Sun GoogleAppEngine/JavaでDatastoreのデータをエクスポート／インポートする際のコマンドメモ。 GAE/Pythonだとわりと記事があってGgりながらやればできるって「安心感」があるのですが、 GAE/Javaでバルクローダーの記事はあまりないので、できるのかどうか不安になりました。 公式ドキュメントにはできるように書いてあるのですが詳細な手順はありません…。 なお、Pythonが実行出来る環境で、たしかhttplib2などのライブラリをインストールしておく必要はありますが、こちらはpython版でGgるといっぱい出てきますので割愛。 実行時エラーで足りないライブラリを確認しながらいれてもそれほど時間にもなりません。 pythonライブラリのイ

以前に書いたブログ。 Python CSVデータ 一括登録 TaskQueue編 なんだけど今回別の方法があると、こっちのほうが効率がいいのではと。 というかこっちを使うのが一般的ではないかと。 なので検証することに。 いろいろ検索するとたくさんの方が記載していました。Google本家も参考に。 ・Google App Engine データのアップロードとダウンロード ・bulkloader.py を使って Google App Engine の本番サーバーから開発サーバーにデータを移す 他多数。 ただ今回実際にやってみて、整理するためにも書いときます。 まず、remote_apiの設定。app.yamlにて簡単に設定できます。 次に一括登録のために必要な登録するデータ（今回はCSV）とKindのPropertyとをマッピングすることが必要。 そのために下記ファイルを使用する。 bulkl

The new bulkloader configuration format requires the Google App Engine Python SDK version 1.3.4 or later.Files on this siteSample configuration and databulkloader.yamlmodels.pycustomer.csvcustomercall.xmlvisit.tsv Hierarchical XML example Visit + Activitiesbulkloader_visitactivity.yamlvisitactivities.xmltransformhelper.py Custom connector examplejson_connector.pybulkloader_json.yaml Mapreduce base

駅データのcsvファイルをGAEのデータストアにアップロードしたい。 csv等をデータストアに一括アップロードする場合、bulk loaderツールを使う。bulk loaderはappcfg.pyコマンドから使用できる。bulk loaderツールは、remote_apiを使用してGAEアプリのデータストアに一括アップロードする。 remote_apiが設定されていない場合は、まず最初に設定する必要がある。 http://bit.ly/9YoNpV に2種類の設定方法が書いてある。 remote_apiの設定が終わったら、次にbulk loaderの設定をする必要がある。bulk loaderの設定をするには、まずbulkloader.yamlを自動生成する。 appcfg.py create_bulkloader_config --filename=bulkloader.yaml {d

Google App Engine SDKの開発サーバーのデータストアはtmpディレクトリにデータを保存するため、マシンを再起動するとデータの中身が全部消えてしまいます。毎回テストデータを用意するのが面倒なので、本番サーバーからデータを移してくるための方法を調べてみました。するとbulkloader.pyというユーティリティを使うと、簡単に本番サーバーのデータをダウンロードして保存し後からリストアすることができることがわかりました。ということで早速試してみます。 参考にしたのは以下のサイト。 http://code.google.com/intl/en/appengine/docs/python/tools/uploadingdata.html ※2010/01/31追記：--db_filenameオプションの使い方を掲載しました。 ■前準備 app.yamlに以下の設定を追加してから、a

google app engine のデータストアをバックアップ、リストア（bulk loader ツール） 今日はGAEのデータストアのバックアップとリストアに挑戦。 （bulk loader ツール） まずここを参照。 「データのアップロードとダウンロード」 http://code.google.com/intl/ja/appengine/docs/python/tools/uploadingdata.html ふむふむ。 まずRemote API を有効にする必要があるとの事。 app.yamlの末尾に以下を追加 builtins: - remote_api: on - datastore_admin: on ・・・「datastore_admin: on」はついで。ダッシュボード側のデータストアのコピー操作ができるようになるおまじない。これは今回は使わないけどおまけｗ で、コマンド