気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
AppEngineで大量のエンティティを処理するパターン - GeekFactory
21 users
int128.hatenablog.com
int128.hatenablog.com
int128.hatenablog.com
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
App Engine上で大量のエンティティを処理するパターンをまとめてみました。 Concurrent Pattern 対象の... App Engine上で大量のエンティティを処理するパターンをまとめてみました。 Concurrent Pattern 対象のエンティティをシャードに分割し、それぞれを並列に処理するパターンです。シャーディングを行うSplitterとエンティティを処理するMapperが並行して動きます。SplitterとMapperは独立したタスクであるため、memcacheを介してエンティティを受け渡します。 このパターンの利点は、エンティティの処理内容に関係なく一定のスループットを確保できることにあります。Mapperでどんなに長い処理を行ってもSplitterは淡々とシャーディングを続けるため、スループットに影響はありません。 Mapperの処理結果をmemcacheに突っ込み、別のタスクで集約することで、MapReduceのような処理も可能かなと思います。 Serialized Pattern 対
int128.hatenablog.com
int128.hatenablog.com
int128.hatenablog.com
int128.hatenablog.com
mixi.social
omocoro.jp
aellune.com
support.mixi.social
blog.tinect.jp
unknownplace.org
p2ptk.org
note.com/tecopark
netaful.jp
www.itmedia.co.jp
internet.watch.impress.co.jp
int128.hatenablog.com
int128.hatenablog.com
int128.hatenablog.com
int128.hatenablog.com
int128.hatenablog.com
2010/11/22 リンク