以前に書いたブログ。 Python CSVデータ 一括登録 TaskQueue編 なんだけど今回別の方法があると、こっちのほうが効率がいいのではと。 というかこっちを使うのが一般的ではないかと。 なので検証することに。 いろいろ検索するとたくさんの方が記載していました。Google本家も参考に。 ・Google App Engine データのアップロードとダウンロード ・bulkloader.py を使って Google App Engine の本番サーバーから開発サーバーにデータを移す 他多数。 ただ今回実際にやってみて、整理するためにも書いときます。 まず、remote_apiの設定。app.yamlにて簡単に設定できます。 次に一括登録のために必要な登録するデータ（今回はCSV）とKindのPropertyとをマッピングすることが必要。 そのために下記ファイルを使用する。 bulkl

The new bulkloader configuration format requires the Google App Engine Python SDK version 1.3.4 or later.Files on this siteSample configuration and databulkloader.yamlmodels.pycustomer.csvcustomercall.xmlvisit.tsv Hierarchical XML example Visit + Activitiesbulkloader_visitactivity.yamlvisitactivities.xmltransformhelper.py Custom connector examplejson_connector.pybulkloader_json.yaml Mapreduce base

駅データのcsvファイルをGAEのデータストアにアップロードしたい。 csv等をデータストアに一括アップロードする場合、bulk loaderツールを使う。bulk loaderはappcfg.pyコマンドから使用できる。bulk loaderツールは、remote_apiを使用してGAEアプリのデータストアに一括アップロードする。 remote_apiが設定されていない場合は、まず最初に設定する必要がある。 http://bit.ly/9YoNpV に2種類の設定方法が書いてある。 remote_apiの設定が終わったら、次にbulk loaderの設定をする必要がある。bulk loaderの設定をするには、まずbulkloader.yamlを自動生成する。 appcfg.py create_bulkloader_config --filename=bulkloader.yaml {d

Google App Engine SDKの開発サーバーのデータストアはtmpディレクトリにデータを保存するため、マシンを再起動するとデータの中身が全部消えてしまいます。毎回テストデータを用意するのが面倒なので、本番サーバーからデータを移してくるための方法を調べてみました。するとbulkloader.pyというユーティリティを使うと、簡単に本番サーバーのデータをダウンロードして保存し後からリストアすることができることがわかりました。ということで早速試してみます。 参考にしたのは以下のサイト。 http://code.google.com/intl/en/appengine/docs/python/tools/uploadingdata.html ※2010/01/31追記：--db_filenameオプションの使い方を掲載しました。 ■前準備 app.yamlに以下の設定を追加してから、a

google app engine のデータストアをバックアップ、リストア（bulk loader ツール） 今日はGAEのデータストアのバックアップとリストアに挑戦。 （bulk loader ツール） まずここを参照。 「データのアップロードとダウンロード」 http://code.google.com/intl/ja/appengine/docs/python/tools/uploadingdata.html ふむふむ。 まずRemote API を有効にする必要があるとの事。 app.yamlの末尾に以下を追加 builtins: - remote_api: on - datastore_admin: on ・・・「datastore_admin: on」はついで。ダッシュボード側のデータストアのコピー操作ができるようになるおまじない。これは今回は使わないけどおまけｗ で、コマンド

Django et compagnie Japonais. Djangoと日本の仲間たちDjango を体験しよう The Web framework for perfectionists with deadlines - www.djangoproject.com Django は Python で書かれたオープンソースのWebフレームワーク。見通しのよい MVC 分離、洗練された O/R マッピング API、そして汎用性の高い強力なテンプレートエンジンを備え、高い柔軟性とパフォーマンスを同時に要求されるWebアプリケーション開発をサポートします。 オブジェクト管理インタフェースやユーザ認証、セッション、国際化といった Webフレームワークとしての基本はもちろん、汎用のビューロジックや配信フィード (RSS/Atom) の生成など、Webアプリケーション開発に共通するメカニ

このドキュメントでは、 Django の組み込みテンプレートタグおよびフィルタにつ いて解説しています。 また、 自動生成ドキュメント を使えば、インストールされている組み込みタグ とカスタムタグのドキュメントを読めるのでお勧めです。 自動エスケープ機能を制御します。このタグは引数に on または off を取 り、ブロック内の自動エスケープの有効・無効を決定します。 自動エスケープがオンの場合、変数の値は全て、最終的な文字列出力になる直前に HTML エスケープされます (他のフィルタは先に適用されます)。この動作は、 変数に escape フィルタを手動で適用した場合と同じです。 例外として、変数をテンプレートに挿入するコードや、 safe, escape と いったフィルタの適用によって、 “safe” マーク済みの変数はエスケープされませ ん。

WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 ようやく少しずつ時間が取れるようになってきたので、 Google App Engine の勉強をはじめています。 Python の書き方や App Engine 自体の使い方を覚えるのは苦ではないのですが、大変なのはその先、ライブラリやフレームワークなどを把握するのが厄介なんですよね。 まあとりあえずは App Engine に付属している Web フレームワーク

※ページが正常に表示されない場合 AddBlockなどの広告ブロックツールがONになっていると、ページの一部が表示されないことがあります。これらのツールをOFFにしてみてください。 GAE(Google App Engine)は、Googleのパワーを利用してWebアプリケーション開発を行えるクラウド開発環境です。EclipseにPyDevというPython用プラグインをインストールし、Google App Engineのプログラムを作成していきましょう。 ※Pythonがよくわからない、という方は、こちらのPython超入門をどうぞ。

ここ数ヶ月、Google App Engine/Pythonを使い、初めてちょっとしたものを作ってみているのだけど、開発初期から知っておけばよかったなー、と思うノウハウ/tips的なものをずらずらと書いてみる。 基本的な環境設定は、 以前書いた まま。 0. 公式ドキュメントを良く読む 言うまでもなく、だけど、 マニュアル はもちろん、 この辺 の下の読み物も、流し読みだけでもしておいたほうがいい。 datastoreとmodel的なところ 1. key nameを使いこなす key nameは、レコードの作成時に指定できる(RDBでいう)primary keyの別名みたいなもの。primary key自体は自動的で作成されるので開発者が指定できるのはkey nameだけ。 key nameをうまく使うことで、datastoreを使いやすくすることができる。特にdatastore上で"un