モバイルアプリに最適化した軽量JavaScriptエンジン「Hermes」、Facebookがオープンソースで公開。低スペックのスマートフォンでの実行速度を重視 Webアプリとして構築されているモバイルアプリケーションは、現在では非常に複雑で大規模なものになりつつあります。 これは同時に、アプリケーションのロードや起動にかかる時間が増大することに直結しており、特に発展途上国などで広く使われている低スペックなスマートフォンにおいてはその影響が顕著です。 Facebookがこうした大規模するモバイル向けWebアプリケーションの課題を取り除くべく調査したところ、JavaScriptエンジンを改善する必要があることを認識し、Hermesを開発することにしたと説明しています。（追記：ただし後述のようにHermesは現時点ではWebアプリケーション用ではなくReact Nativeのオプションとなって

Facebook、新しいMySQL用ストレージエンジン「MyRocks」をオープンソースで公開。フラッシュに適したデータの書き込みと圧縮効果 FacebookはMySQL用の新しいストレージエンジン「MyRocks」をオープンソースで公開しました。同社のエンジニアである松信嘉範（Yoshinori Matsunobu）氏がFacebookのブログに投稿した記事「MyRocks: A space- and write-optimized MySQL database」で紹介しています。 MySQLのデータベースエンジンとして使われているInnoDBは優れているものの、フラッシュストレージと組み合わせたときに書き込まれるデータ量の効率性などに課題があったため、MyRocksに取り組んだと説明されています。 InnoDB is great for performance and reliabil

Linux Foundationは、いわゆるホワイトボックス用のネットワークスイッチOSをLinuxベースで開発する「OpenSwitch」が、Linux Foundationのプロジェクトになったと発表しました。 OpwnSwitchは、米ヒューレット・パッカードやメラノックス、ブロードコム、インテル、LinkedInなどが昨年10月に立ち上げたオープンソースプロジェクト。 スイッチなどのネットワーク機器は、ネットワークベンダが独自のハードウェアと専用のOSを開発し、組み合わせて提供されるものでした。それをサーバと同じようにハードウェアとOSの業界標準を作ることで、自由にベンダーやユーザーが組み合わせて利用できるようにする動きが強まってきています。 そのハードウェアがいわゆるホワイトボックススイッチであり、例えばFacebookが設立したOpen Compute Projectなどでホワ

Facebookとパナソニックが開発、コールドデータを長期間安全に保存する「freeze-ray」アーカイブシステムを発表 同社がアーカイブしているデータの規模は、データを長期間保存するためアーカイブに最適化したシステムを自社で開発し、その施設をオレゴン州や北カリフォルニア州に構築するほど膨大です。 パナソニックはそのFacebookと連携し、光ディスクを使ったデータセンター用データアーカイブシステム「freeze-ray」の開発を発表しました。 光ディスクは長寿命、普遍性、低消費電力 freeze-rayは、光ディスクシステムの特性である長寿命性、不変性、ドライブの後方互換性、低消費電力、環境変化への耐性などにより、データ完全性の保護とデータセンターのコスト削減を同時に実現する最適なコールドストレージを提供することが可能と説明されています。 開発にあたり、パナソニックは主に高密度光学技術

Facebookが2011年に発足させた「Open Compute Project」は、最新のデータセンターを構築するため、サーバの筐体やマザーボード、ラック、空調などのさまざまな技術をオープンにしてきました。 Introducing “Wedge” and “FBOSS,” the next steps toward a disaggregated network | Engineering Blog | Facebook Code Facebookが6月18日付けのブログ「Introducing “Wedge” and “FBOSS,” the next steps toward a disaggregated network」で公開した「Wedge」と「FBOSS」は、イーサネットスイッチのハードウェアとソフトウェアをオープンにし、Open Compute Projectをさらに推し

Herokuは今回のPHPのサポートを「new PHP on Heroku」と表現しています。それは単にPHPをサポートしたのではなく、Facebookがオープンソースで開発している高速なPHPのランタイムであるHipHop VM（HHVM）を利用可能にしているためです。 At the foundation of the new PHP is Facebook’s HipHop VM, a modern, high-performance runtime for PHP that promises orders of magnitude speed improvements while retaining compatibility. With help from the Facebook team, this VM is now available as part of the Hero

最新のサーバが備えるマルチコアと高速なフラッシュストレージの性能を活かすべく最適化したキーバリューストア「RocksDB」をFacebookがオープンソースとして公開しました。 RocksDBはGoogleが開発したNoSQL軽量ライブラリ「LevelDB」を採用。以下の4つのビジョンを掲げています。 Scales to run on servers with many CPU cores. Uses fast storage efficiently. Is flexible to allow for innovation. Supports IO-bound, in-memory, and write-once workloads. サーバに搭載されているマルチプロセッサのメニーコアを活用し、フラッシュストレージのような高速ストレージに最適化。プラガブルアーキテクチャでつねに最新のテクノ

Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl

おそらく世界でもっとも大規模にMySQLのクラスタを展開し、運用しているのがFacebookでしょう。複数のデータセンターにまたがり何千台ものMySQLサーバを運用するために、自動化の仕組みは欠かせません。 その自動化がどのような仕組みになっているのか。FacebookのデータベースエンジニアであるShlomo Priymak氏が、Under the hood: MySQL Pool Scanner (MPS)という記事をFacebookで公開しています。 かなり長い記事なので、ここではそのポイントをまとめて解説してみました。詳細はぜひ原文をあたってみてください。 MPSのおもな3つの機能 Facebookで稼働しているMySQLは、つねに1つのマスターとそこからレプリケーションされた複数のスレーブによるレプリカセットを構成しています。このレプリカセットの構造を維持し続けることで、可用性と

Facebook、Twitter、PayPal、LinkedInのMySQL担当者は、MySQLをどう使い、何を課題だと考えているか～MySQL Connect 2013 Facebook、Twitter、PayPal、LinkedInのMySQL担当エンジニアが集まり、それぞれの社内のMySQL利用状況、課題、これから期待する新機能などを語ったパネルディスカッションが、9月21日から23日までサンフランシスコで開催されたMySQLのイベント「MySQL Connect」の3番目の基調講演として行われました。 世界でもっともヘビーなMySQLユーザーといえる4社は、MySQLについてどのようなことを考えているのか、基調講演の内容をダイジェストで紹介しましょう。 Current MySQL Usage Models and Future Developments ──── まずはそれぞれの所

米オラクルが主催するMySQLのイベント「MySQL Connect」が9月21日から23日まで、サンフランシスコで開催されました。Oracle OpenWorld、JavaOneとの同時開催でした。 基調講演の1つには、MySQLのヘビーユーザーであるFacebookのHarrison Fisk氏が登壇。FacebookにおけるMySQLの役割、大規模運用の背景などを紹介しています。その内容をダイジェストで紹介しましょう。 MySQL@Facebook Lots and lots of small data Harrison Fisk氏。 Facebookでデータパフォーマンスチームのマネージャをしている。社内ではMySQLはもちろん、HBase Hadoopなどにも関わっている。 まずは、どんな種類のデータをMySQLで扱っているのかについて。 Facebookとは基本的にグラフだ。グ

ラックごとに物理的にコンピュータリソースを最適化するFacebookの技術「Disaggregated Rack」とは何か？ Facebookは、データセンターのサーバ構成をより柔軟にするための新しい手法「Disaggregated Rack」を、1月に米サンタクララで開催されたOpen Compute Summit Winter 2013で明らかにしています（いまになって公開された動画を見ていたら見つけました）。 データセンターのサーバやストレージを効率的に利用するためには、仮想化によってリソースプールを作り、アプリケーションに応じてそれを切り出して使う方法が一般に考えられています。 しかしFacebookが採用する方法は、CPUやメモリやストレージを物理的なコンポーネントにして、それをラックに追加したり引き抜いたりすることでラックごとのシステム構成を物理的に変えてしまおうという手法です

Facebook、データセンター自動化ツールにChefの新バージョンを全面採用、Erlangでスケーラビリティ拡大。Opscodeが発表 世界最大級の規模のサーバを運用しているFacebookでは、データセンターにサーバを投入したり、既存のサーバのコードをアップデートする膨大な作業が毎日発生しています。特に同社は開発したコードをすぐにデプロイし、利用者からのフィードバックを迅速に開発へ反映させるDevOpsと呼ばれるスタイルを採用していることから、大規模かつ柔軟性の高いデプロイツールが欠かせません。 そこで必要なのがこうしたサーバのコンフィグレーションをデータセンター規模で自動化してくれるツールです。その1つとしてよく知られるのがChef。Rubyで書かれており、コンフィグレーションの内容や手順を記述するレシピ（Recipe）やクックブック（Cookbook）を用いた柔軟なデータセンター自

Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開 Facebookでは、24時間ごとに0.5ペタバイトのデータが生成され、それらを分析するために毎日6万回以上ものHiveのクエリが実行されているそうです。 こうした大規模処理を行うプラットフォームとして使われているのがHadoop。しかしFacebookはHadoop MapReduceのスケーラビリティに限界を感じており、それを解決するための新しいソフトウェア「Hadoop Corona」を開発、オープンソースで公開しました。 Facebookのページ「Under the Hood: Scheduling MapReduce jobs more efficiently with Corona」では、従来のHadoop MapReduceのどこに課題があったのか、4つ

クラウドのように大規模なシステムでは、ソフトウェアの開発と同等以上に、大規模運用の巧拙が、システム全体の成功を大きく左右します。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」で、FacebookのTechnical Operations teamを担当するTom Cook氏が「A Day in the Life of Facebook Operations」（Facebook運用のある1日）と題したセッションで、Facebookがふだんどのような運用を行っているか、紹介しています。 世界でトップクラスの大規模サイトが、普段どのようなツールを用い、どのような方法で運用しているのか、セッションの内容を紹介しましょう。 6年で4億アクティブユーザー、3カ所のデータセンター Tom Cook氏。Facebo

Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公開されているので、ポイントとなるページを紹介しましょう。 Realtime Apache Hadoop at Facebook なぜリアルタイムデータの分析に、Hadoop/HBaseを使うのか？ MySQLは安定しているが、分散システムとして設計されておらず、サイズにも上限がある。一方、Hadoopはスケーラブルだがプログラミングが難しく、ランダムな書き込みや読み込みに向いていない。 Faceb