appengine ja night #14 1. APP ENGINE上の大量データ処理についてappengine ja night #14@int128 2. Introduction いわてぃ @int128 http://d.hatena.ne.jp/int128/ • 本業 • SIerでお仕事しています。 • プライベート • Google App Engine/Java • 自宅サーバ 3. 本日の内容• App Engineとバッチ処理• タスクチェーン• シャーディング• App Engine MapReduce (Java)の仕組み• デモ：Twitterのタイムラインで遊んでみるhttp://goo.gl/iibHl 4. APP ENGINEとバッチ処理 5. App Engineのインフラ• バッチサーバはない。• SQLやストアドはない。• HTTPリクエスト処

決まった時刻や間隔で定期的に何か処理をしたい場合はCronを使用しますが、直前になるまで時刻が分からなかったり、突発的に発生するイベントの処理にはTask Queueを使います。 Task Queueはプログラム上から実行する時間を指定して登録できるCronに似たシステムです。CronがGETメソッドでパラメータ無しで呼び出されるのに対して、Task Queueは基本的にPOSTメソッドで呼び出され、パラメータも渡すことができます。 ちなみに、Task Queueはまだ実験的なシステムで現在はgoogle.appengine.api.labs.taskqueueというパスになっていますが、正式サービスに昇格する際にgoogle.appengine.api.taskqueueに変わる予定なので注意してください。 呼び出し元がユーザではなくGAEのシステムというだけで、それ以外は普通のCGIと

App EngineではCron サービスを利用する事で、指定した時間や一定間隔でタスクをスケジュール実行する事ができます。今回のアップデートからかと思いますが、フォーマットがより柔軟になったのでまとめておきます。いつもの事ですが、日本語のドキュメントには反映されていませんので、英語のドキュメントから引っ張ってきてまとめます。 毎日、特定の時間にジョブを実行する 指定された時間に繰り返して実行する必要がなく、同じ間隔で実行したいだけであれば、次のフォーマットを使用します。 every N (hours|mins|minutes) Nは特定の数値 hours（時間）またはmins（分）またはminutes（秒）を指定 この書式の場合、ジョブの実行が終了した後で指定されたインターバルを空けて次のジョブが実行されます。つまり、ジョブの実行時間はインターバルに含まれません。例えば、「every 2

This document discusses a river called Shinogawa located in Tokyo, Japan. The Shinogawa river flows through the Shinagawa ward of Tokyo and empties into Tokyo Bay. It has been an important waterway throughout history, serving as a transportation route and source of water.

Google Apps をSocial にするOpenSocialPages (；゜○゜) お願いですから応募してください

原文： Prerelease SDK 1.4.0 is out! - Google App Engine | Google Groups App Engine SDK 1.4.0 の prerelease 版が出て、搭載される機能について紹介されていました。 一言でいうと「これは熱い!」 レイテンシ改善のため、インスタンスが常時起動できるようになった！ Channel API が使えるようになった！ 個人的には上記の２つが嬉しい。 勢いで原文の Java 版の新機能のとこだけ訳してみました。細かいところは誤訳の可能性もあるので、念のため原文も載せておきます。 常時起動オプションを設定することで、3インスタンスを常時起動しておくことができます。これにより、アプリケーションのレイテンシ（起動時間）を大幅に短縮することができます。(The Always On feature allows app

※2010/4/23 sessionのクリアについてご指摘頂き、追記しました。Google App Engine for Java(GAE/J)にて、どんなアプリを使う場合でも （自分的に）ほぼ必須となる設定ファイルのまとめ。 ていうか、リファレンス読めばいーんだけどさ １．sessionを有効にする & クリアの設定をする Javaでsession使わないケースなんてあるのか？ appengine-web.xml　に　下記を追加 <sessions-enabled>true</sessions-enabled> GAE/Jでsessionを使う場合、このままだとDatastoreにsession情報が残ったままなので定期的にクリアするcronを設定する web.xml　に　下記を追加 <servlet> <servlet-name>_ah_sessioncleanup</servlet-

屋号の由来 同じ会社を二度受けたことがある。一度目は新卒採用のとき。十代の頃から憧れていた地元の新聞社へどうしても入りたかったにも関わらずまともに受験勉強をしたこともなければ大した一般教養もなかった私は一番外してはならない筆記試験であえなく落選した。新聞記者に…

先日、友達の会社の勉強会で「初めてのGAE/J開発」というタイトルの発表をさせていただきました。準備不足や時間配分のミスがあったため、後半飛ばしぎみになって申し訳ありませんでした。 GAEの制限ばかりを強調しすぎて逆に使えないような印象をもってしまったかもしれませんが、決してそんなことは無いと思います。(だから、私もいまGAEに注目しているわけですし。)特にBigtableは今までとは違った考え方が必要なので、これまでのRDBのように考えるとうまく行かないのは間違いありせん。(私も何度も悩まされました。いや、今もですが。) しかし、だからといってそれはやり方の問題であって、そのままGAEが使えないという理由にはならないはずです。BigtableにはBigtableのやり方が必ずあるはずです。また、WikipediaやTechCrounchによると、GoogleのたくさんのサービスがBigt

Google App Engineで受信メールの処理ができるようになった。 具体的な手順はこちら。 http://code.google.com/intl/en/appengine/docs/java/mail/receiving.html 手順はこう。 まず、appengine-web.xmlに次の設定を追加 <inbound-services> <service>mail</service> </inbound-services> そうすると、[email protected]ail.comにメールが来たら /_ah/mail/<address> というURLが呼び出されるようになる。 なので、次のようなサーブレットマッピングをweb.xmlに追加してサーブレットで処理をする。 <servlet> <servlet-name>mailhandler</servlet-name>

はじめに Javaプログラマであれば、Google App Engine（GAE）がJavaに対応したとき、すぐさま試してみた人も多いのではないでしょうか。Javaに対応するということには、実は非常に深い意味があります。それは同時に「Java仮想マシン上で動く、あらゆる言語に対応する」ということでもあるのです。 GroovyもJava上で動くスクリプト言語なので、当然ですがGAEで利用できます。そこで今回は、GroovyでGAEのアプリケーション開発を行ってみましょう。 対象読者 JSPを書くのは正直しんどい...と近頃感じる人 Ruby on Railsスタイルの開発に興味があるという人 MVCフレームワークをJavaで学びたいという人 JavaによるGoogle App Engineプログラミングに興味がある人 GAEでGroovyを利用する Google App Engine（GAE

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Google App Engineは素晴らしい可能性を秘めている。はじめはギークが楽しんで使うだけだろうが、近い将来にはそれをビジネスモデルが発表され、Google App Engineで作られたWebアプリケーションが数多く登場することだろう。 そうした時に必要なのはGoogle App Engineをさらに便利にする周辺ツールの存在だ。これもまたその一つになる。 今回紹介するオープンソース・ソフトウェアはGoogle App Engine Launcher、Google App EngineのGUIフロントエンドだ。 Google App Engine Launcherは、Google App Engineプロジェクトの追加や起動/停止、ログ等を一元管理できるアプリケーションだ。もちろん、Google App Engine Launcherからデプロイもできる。 予めエディターを登録し