どうも、プラットフォームDivでエンジニアをやっている Wataru です。 最近３人目の子供が産まれて、産後自宅勤務をさせてくれた弊社はとてもいい会社だと思います。出産予定のあるエンジニアのかたは是非弊社に転職を。 さて、今回はRedisの紹介をさせて頂きたいと思います。 Redisってすごくマイナーなわけではないのですが、めちゃくちゃ便利なのにあまり注目されていないなーという印象があるので、これを機会に是非使ってみてもらえると嬉しいです。 Redisって何？Redisとは「remote dictionary server」から名前が付けられたオープンソースのkey-valueデータストアです。 MemcacheDB等のKVSとの最大の違いは、格納するバリューがデータ構造というところです。 つまり、リスト・セット・ハッシュなどのデータ構造で格納できるのでバリューに対してアトミックな操作が

いまさら聞けないKVSの常識をHbaseで身につける：ビッグデータ処理の常識をJavaで身につける（3）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ビッグデータの要！ KVSとは何なのか 「KVS（Key-Value Store）」とは、Key値を指定してValue値の格納や取得を行う方式です。それに対して、RDBではキー（プライマリキー）が必須ではなく、逆に複数のカラムをセットしてキーにすることもできます。 テーブル構造だけを見れば、KVSとRDBは似ています。例えば、RDBでプライマリキーと1つのBLOB型を持ったテーブルを作れば、KVSと同じような構造にもなります。しかし、RDBでKVSのまねごとをするのと、KVSとして

第3回研究課題レポート(※1)の最優秀賞受賞作品で、 社員のToshiさんによって元のレポートは執筆されています。 第1章はじめに 近年，サービスの状態を保存するためにRDBMSがよく利用されている．代表的なRDBMSとしてMySQL[1] やOracle[2]，PostgreSQL[3] などが挙げられる．RDBMSは，TCOの低さ，トランザクション機能，SQL のような柔軟な問い合わせ言語でのやり取りが可能であるなどのメリットがある．しかしながら，Web アプリケーションにおいて，RDBMS のような複雑なクエリは不要な場合が多く，プライマリキーでアクセスできればよい．また，RDBMS では，一貫性を保つために，ロックなどを用いるため，可用性を犠牲にする．さらに，近年進歩はしているものの，RDBMSにおいてスケールアウトや負荷分散はいまだ難しい問題となっている． これらの問題を解決する

データストアの新たなカタチとしてNoSQLがブームになっていますが、その中で異彩を放っているのがドキュメント指向データベースである「MongoDB」です。サイバーエージェントでは、このMongoDBを比較的早い段階から実サービスで活用しています。そこで今回はMongoDBの使いどころや利用時の注意点について、サイバーエージェントの3人の技術者にお話を伺いました。 分散処理のしくみを最初から備えるMongoDB リレーショナルデータベース（以下RDB）ほど煩雑ではなく、分散KVS（Key-Value Store）ほどシンプル過ぎない第三のデータストアの1つとして、ドキュメント指向型データベースである「MongoDB」が挙げられます。GNU AGPLv3を採用したオープンソースソフトウェアであり、パフォーマンスが高くスケーラビリティにも優れているという特徴があります。また、JSON（JavaS

前回は、NoSQLデータベースを使って、RDBMSが備えるデータの絞り込みや並べ替えの機能を実現する方法を考えてみました。今回は、NoSQLを使いながら、テーブル結合やデータ集計の機能を実現する方法を考えます（編集部） テーブル結合やデータ集計に挑戦 前回は「リレーショナルデータベース管理システム（RDBMS）が提供しているさまざまな読み取り処理の機能を、NoSQLデータベースで実現するには？」をテーマに、KVS型のNoSQLデータベースで検索処理や並べ替えを実現する方法を紹介しました。 分散環境で性能を発揮できるようシンプルさを追求したNoSQLデータベースには、RDBMSのように便利なデータ加工処理機能はありません。RDBMSが相手なら、SQL文を書くだけで簡単に使えた検索処理や並べ替えも、「データベースにお任せ」というわけにはいかず、アプリケーション側での工夫が必要になります。今回も

「エンジニアはITコンサルタントへの転職で幸せになれるのか？」ー評価・年収・キャリアー徹底解説 3月4日 6:30

ソーシャルアプリのホスティングに特化した専用サーバサービスとして話題を集めているのが「at+link アプリプラットフォーム」です。今回はこのサービスの新たなオプションとして発表された、高機能なKVS環境を安価に提供する「キャッシュサーバ」サービスについてお話を伺いました。 ソーシャルアプリの運用負荷を低減できるキャッシュサーバサービス SNS上でゲームなどのアプリを提供するソーシャルアプリの運営において、大きな課題となっているのが「5秒ルール」への対応です。これはユーザからのリクエストに対し、5秒以内に応答できなかったセッションが頻発すると、ソーシャルアプリのランキングページから除外されたり、あるいは強制的にエラー画面が表示されるなどといったペナルティが課されてしまうというもの。この5秒ルールが適用されるとアプリの提供に大きな支障を来すことになることを考えると、その対策は極めて重要です。

注目を集めるNoSQLデータベース 数年ほど前から、分散KVS（Key-Value Store）や列指向（Column-Oriented）データベース、ドキュメント指向（Document-Oriented）データベースなどの新しいデータベース技術が注目を集めています。これらの新しいデータベース技術は、リレーショナルデータベース管理システム（RDBMS）とは異なる考えに基づいているので、よく「NoSQL」データベース（注1）と総称されています。 注1：「NoSQL」という言葉はもともと「近年登場している、RDBMS以外の（つまりSQLを使わない）データベース」を総称、表現したものであり、その後から「SQLは不要だ」というイメージを持つキーワードのようになってきました。データベース開発者の中には、このようなRDBMSに対するネガティブなイメージを好まず、NoSQLを「Not Only SQL（

濃縮還元オレンジニュース Cassandra⁠⁠、MongoDB⁠⁠、Redisなど主要NoSQL比較 ハンガリーの企業でCTOを務めるKristof Kovacs氏による記事です。各主要NoSQLプロダクトについて機能比較や利用ケースなどをまとめています。この記事ではCassandraやRedisなど6つのプロダクトを挙げています（表1⁠）⁠。 CouchDBは使い勝手に優れており、双方向レプリケーションやリアルタイム更新をサポートしています。Redisは非常に高速なことが売りで、トランザクションや変更監視の機能が備わっています。Cassandraは書き込みが読み込みよりも速いことから銀行や金融などのリアルタイムなデータ解析が必要になる分野で実力を発揮し、Cassandraと同じくJavaで作られているHBaseは億単位の行と数百万のカラムというBig Dataを扱え、月に1,000億を

The Apache Software Foundation Announces Apache Cassandra 0.7 -- FOREST HILL, Md., Jan. 11, 2011 /PRNewswire/ -- Cassandraは、NoSQLデータベースの中でもキーバリュー型データストアと呼ばれる分野でもっともよく知られているソフトウェアの1つ。もともとFacebookで大量のデータを高速に処理するためのデータベースとして開発され、オープンソースとして公開されたもの。現在はThe Apache Foundationにより開発が続けられています。 追加された機能 Cassandra 0.7では、主にメモリ利用効率の向上、オンライン状態でのスキーマ変更、セカンダリインデックスなどの機能が追加されています。RackspaceのブログCloud:Blogにポストされたエントリ「Ne

2011年、Publickeyの予想。「クラウドで基幹業務」「Web技術がネイティブ化」「アジャイルの価値」 海外の予想記事をまとめて紹介したあとで、自分の予想記事を公開するのは後出しじゃんけんのような気もしますが：-） Publickeyでも2011年を予想しました。 今年、Publickeyで注目したいのはパブリッククラウド、Web標準、アジャイル開発、NoSQL、そしてエンタープライズソーシャルです。 パブリッククラウドを基幹業務に利用する事例が登場しはじめる 昨年はクラウドが注目され、クラウド事業者が国内で本格的に活動を開始した年でした。それに合わせるようにすでに国内企業でも、パブリッククラウドを自社の基幹業務のためのプラットフォームとして利用することができるかどうか、調査や検討が始まっています。大企業も例外ではありません。 パブリッククラウドの最大の懸念はセキュリティですが、国内

GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠

memcachedの開発者らが中心となって今年の3月に立ち上げた企業NorthScaleが、memcached互換のNoSQLデータベース「Membase」のオープンソースプロジェクト「membase.org」を6月23日に発表しました。 MembaseはWebアプリケーションのバックエンドに使われることを想定したキーバリュー型データストア。高速かつ高いスケーラビリティを目指したもの。 主な機能として、将来にわたってmemcachedとプロトコルの互換性を保証しつつ、ディスクへの永続性機能（データのディスクへの書き込み）、階層型データストア管理、データレプリケーション、稼働状態での設定変更とノード間のリバランシング機能なども備えると説明されています。 Membaseの特徴はmemcached互換とスケーラビリティ MembaseのWebサイトの情報を基に、特徴を紹介しましょう。 動的なノー

2010年6月26日に行われたイベント、オープンソースカンファレンス2010 Hokkaido内のセミナーで使われた発表スライド「PHPで大規模ブラウザゲームを開発してわかったこと」

Tatsuro Hisamori from DeNA Co., Ltd. discusses mbga OpenPlatform and summarizes techniques for optimizing database and application performance including using tcpdump, Wireshark, and mk-query-digest to analyze SQL queries and network traffic. He also provides examples of optimizing resources and response times by distributing applications across virtual machines and monitoring CPU usage, database

SAML / OpenID Connect / OAuth / SCIM 技術解説 - ID&IT 2014 #idit2014Nov Matake