http://d.hatena.ne.jp/intheflight/20100107/p1 の続き 前回のModelを見直してN-gramの転置インデックスのModelが明らかに冗長な構造をしていることに気付いた。N=2として、その2文字をModelのkey_nameとして使えばもっとシンプルになるのではないか。N-gramのすべての2文字はユニークなんだし。幸いModelのkey_nameはUnicodeも大丈夫なようなので、Modelを以下のように書き換えた。ついでにテキストのModelキーと文字の位置情報を一つにまとめていたindex_listをまとめずにtext_listとposition_listに分割したまま保存することにした。 http://gist.github.com/270211 http://yuribossa.appspot.com/zenbun/index fro

Make 24 monthly payments Pay 0% interest Start using the domain today. See details

調べた限りGAEには（日本語を）全文検索する機能はついてない。なのでちょっくら作ってみました。一応動くのは出来たけど、いろいろ不満な点が多い。転置インデックスはN-gramでN=2で作成。サンプルをサイトで公開してますが、検索は完全一致で結果の順位は考慮してません。最もシンプルなシステムで、検索語句を入力すると、Datastoreに格納されているその語句が含まれる文章を表示し、検索語句を強調表示します。また、100文字以下の文章ならDatastoreに格納できます。何故100文字以下かというと、文字数が多くなるとそれに伴い転置インデックスの作成量を増えていきます。となると、処理時間も長くなってGAEの処理時間オーバーのエラーが発生してしまう。うーん、もっと効率のよい転置インデックスの作成方法がないものか。全文検索の心臓部分のコードは以下の通り。GitHubにも置いてます。 http://g

大晦日の日、自分への挑戦・・・ってほどのことではないですが、 1日でGAEアプリを作るのに挑戦してみました ・・・と言っても、この上なくシンプルなCRUDアプリではあるのですが、 以前GAEでSinatraを動かしたときは、データのところまでは見てなかったので、 それを調べながらの作成でした アプリ： 説明： ＲＯ的悪魔の辞典 - Angel, alone ～孤独な天使～ ＜追記：2010/01/14＞コードを公開しました＜/追記＞ アクセスしてもらえばわかると思いますが、異様に重いです 人によってはGAEの30秒ルールでエラーになるかと思います その原因については後で考察しますが、 とりあえず作るまでのポイントを大雑把に 環境構築（GAEでSinatra） 基本的に以前書いたことそのままです GAEでJRubyのSinatraを動かすまでのメモ - どっかのBlogの前置きのような 前回

Hacking the cloud with Django and SprouteCore. Mostly on App Engine. You probably know all of App Engine's documented datastore limitations. An important one is that a single entity can't have more than 5000 index entries. Usually this means that you have to be careful with queries that have multiple filters on a ListProperty (or StringListProperty, of course). If the query needs a composite index

なぜなら、Google App Engineを学ぶために一番必要なのは、「何ができないかを知ること」だからだ。そして、この本にはそれが書いてある。それしか書いていないといってもいい。 App Engineは、Googleのインフラを最も効率よく使うことにフォーカスしている。Genericなアプローチではなく、Specializedなアプローチだ。 何かを得ようとするならば、それと等価の何かを支払わなければいけない。App Engineは、Googleのインフラを最も効率よく使うために、「いくつかのAPIが使えない」という対価を支払った。 だからこそ、App Engineを知るためには、最初に何ができないのかを知らなければいけないのだ。 あなたは、その制限という対価と引き換えに、Googleから安価なスケールするプラットフォームを手に入れることができる。 EC2はGenericなアプローチだ

クラウド上で誰でもJavaやPythonによるアプリケーションが構築できるプラットフォーム「Google App Engine」。 そのGoogle App Engineで、米国太平洋夏時間の7月2日午前6時半（日本時間7月2日深夜11時半）頃から障害が発生し、約6時間のあいだデータストアへの書き込みなどができなくなり、データストア機能を利用する全アプリケーションが影響を受けました。 この障害は午前8時半頃からApp Engineチームによって対応が行われ、午後12時半過ぎには解決した模様です。App Engineチームは逐次作業状況を報告しましたが、何が原因だったのかについては一切明らかにされていません。 Google App Engine System Statusを見ると、たしかに7月2日にDatastoreとMemcacheに障害が発生しているのが分かります。 対策チームからの原因

GogoleAppEngineで、日本語検索作ってたら、転置インデックスの作り方ミスった。簡単に直ったんだけど既にappspot.comで作成された転置インデックスが邪魔なので一気に消したいが、デフォルトのDashBordでは一気に消せるインターフェースが用意されていない。20個ずつポチポチ手で消していたら、寝ようとしていたtmatsu様が救いの手を差しのべてくれた。 「remote api あるお＞http://code.google.com/intl/en/appengine/articles/remote_api.html」 それから色々やって、結局の所動いた。 ローカルのshから、直接Googleのサーバーのデータをいじれる。 実際に操作した物を貼ってみる。 % python appengine_cosole.py a2c-dev App Engine interactive co