2025年10月31日付で、アマゾンウェブサービスジャパン合同会社を退職します。 後に説明するのっぴきならない事情により7月31日が最終出社日で、そこから3ヶ月は有休 + 職探しをしていました。 現職の最終出社日でした。お疲れさまでした～ これからしばらくゆっくりさせていただきます pic.twitter.com/erR4CMmG0G— Akira Ajisaka (@ajis_ka) 2025年7月31日 入社の経緯 入社当時の記事を読んでいると 今一体どれだけの人々がどのようなユースケースでHadoopを活用しているのだろうか？ また、Big Techと呼ばれる会社の中ではどのようなことが起こっているのか？ その謎を解明するため、私はAmazonの奥地へ向かった。 と書いてあったのですが、他にも (金銭面以外で) 理由がありました。 それは、2021年の時点で前職のヤフーですでに1年半

PFNの海野裕也が2024/10/15に東大大学院「自然言語処理応用」にゲスト講師として登壇した際の講義資料です。

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。Open Source Program Office TF (タスクフォース)です。私たちはLINEのエンジニア組織とオープンソースエコシステムを融合し、より密接な関係を築いてコミュニティと共に成長できる文化を作るために様々な取り組みを行っています。今回は、この3月にLINEがApache Software FoundationのSilver Sponsorに加わることになった背景について紹介します。 Apache Software Foundationについて Apache Software Foundation (ASF)は、オープンソースプロジェクト開発に必要な資源を支援するために1999年に米国で設立された

回答 (3件中の1件目) ハイプサイクルという概念をGartnerグループが提唱してまして、様々な流行りスタリのサイクルを分析する標準的な方法となっています。 ハイプとは過度な期待や熱狂を意味する言葉です。一発屋芸人の人気のカーブみたいなもので、テツandトモみたいに安定する場合と、消えていくものがあります。芸人ではありませんがDA PUMPは一茶の人間性もありまして、次は厳しいけど定着すると思っています。 なんだかのトリガーで評価が上がり始め、ピークを迎える。その後評価が下がっていき、底を打つと少し上がって定着するという経過をたどるとしています。これと同じモデルで、流行りのハイテク...

Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 Twitterは、自社で運営している大規模なHadoopクラスタをGoogle Cloud Platformへ移行すると発表しました。 A new collaboration with Google Cloud - Twitter Twitterは基本的に自社でデータセンターを保有し運用してきました。2017年1月にTwitterのブログに投稿された記事「The Infrastructure Behind Twitter: Scale」によると、Twitterのデータセンターは5つの大陸にあり、合わせて数十万台のサーバが運用されています。 同社が運用しているHadoopクラスタは世界最大級の規模として、以下のように説明されています。 Hadoop: We have

Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが

マネージドサービスについて AWSなどが提供するマネージドサービスを使うかどうかは利用者側の状況にひとえに依存すると思う。 まず気にするべきポイントは、マネージドサービスを使うことで得られるメリットを明確にすることだ。一般に、マネージドサービスはインフラストラクチャからよりアプリケーションに近いレイヤ、多くの場合特定のミドルウェアまで、を抱合して提供してくれるため、運用面での負担が減る。できるだけ利用する方がよいと思う。一方で、運用のやり方やスタイルは提供者側の目線にあわせないといけない。ここにギャップが生まれやすい。理由としては、提供者側の気にする点が全体最適化のうえでベストエフォートで提供できるラインはどこか・そのうえで提示できるSLAがどこにあるか、なのに対して、利用者側の気にする点はミクロな視点で特定リソースが安全に継続可能性が十分にある状態で妥当なコストで利用できるか、の違いがあ

Hajime Morita さんをゲストに迎えて、f.lux, Michael Stonebraker, GitHub, JIRA, 高速化などについて話しました。 Show Notes Facebook admits that its app is draining your iPhone's battery 意見を持つ iOS 9.3 f.lux Sherlock Twilight Night Light mode in Google Play Books Readings in Database Systems, 5th Edition Michael Stonebraker dear-github: An open letter to GitHub from the maintainers of open source projects JIRA vs GitHub issues

マイクロソフト、R言語が使えるデータ分析サーバ「Microsoft R Server」デベロッパーエディションを無償公開。Windows版、Linux版、Hadoop対応、Teradata対応版も マイクロソフトは昨年1月に買収したRevolution Analytics社のデータ分析ソフトウェアを「Microsoft R Server」としてリリース。あわせて開発者版となる「Microsoft R Server Deverloper Edtion」の無償公開と、オープンソース版のディストリビューションである「Microsoft R Open」の公開を明らかにしました。 Making R the Enterprise Standard for Cross-Platform Analytics, Both On-Premises and in the Cloud - Machine Lear

分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 （オープンソースカンファレンス 2015 Tokyo/Spring 講演資料） ■オープンソースカンファレンス 2015 Tokyo/Spring 講演資料（2015/02/28） 『分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向』 株式会社NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 吉田　耕陽

これは Defrag 2014 の講演内容です。 テクノロジに長く従事することの（数少ない）利点の1つは、いくつもの技術サイクルの始めから終わりまでを見ることができるということです。いかにしてブレークスルーが実際に広まるかを見られるのです。サイクルの曲線の一部分しか見なければ、全体を正確に測り知るのは難しいでしょう。短期間で起きた進歩を見過ごしてしまうか、長期間で起こる進歩を見届けられないかのどちらかです。驚くべきことは世の中の事象がいかに速く変化するかではなく、その変化に呼応するエンジニアリングの変革がいかに遅いかということです。画像は、1891年に発明された、電話回線を自動で接続するストロージャー式自動交換機です。 1951年、デジタル交換機の最先端において、典型的な中央電話交換局はビクトリア期の特大サイズでした。ストロージャー式自動交換機は、通信中の全ての電話の信号を扱っていました。

NTTとNTTデータは、オープンソースで開発されているHadoopのプログラムを書き換える権限を持つコミッタに、同社の社員3名が就任したと発表しました。 Hadoopのコミッタに就任した3人。左から、NTTデータ 基盤システム事業本部 鯵坂明氏、NTT ソフトウェアイノベーショ ンセンタ 小沢健史氏、NTTデータ 基盤システム事業本部 岩崎正剛氏 Hadoopのコミッタに日本企業の従業員が就任するのは初めて。NTTデータは2008年からHadoopに取り組みを開始しておりオープンソースへの貢献にも積極的で、Hadoopへの貢献度をコードの行数で集計すると、2014年の上半期はHortonworks、Cloudera、Yahoo!に次いで4位とのこと。 こうした貢献が評価され、Hadoopのオープンソースコミュニティを運営するThe Hadoop Project Management Com

2014年9月6日、オブジェクト指向の関数型プログラミング言語「Scala」に関する大規模カンファレンス「ScalaMatsuri 2014」が開催され、筆者も参加した（写真1）。当日の様子をレポートしたい。 Scalaについては、名前は聞いたことがある方も多いと思う。2003年に生まれたオープンソースのプログラミング言語で、コンパイル後はJava VM上で動作する。Javaの既存資産を引き継ぎつつ、Javaにはない新たな言語の特徴を生かせることから、今後が期待されている言語の一つである。 Scalaは海外では、米Twitterや米LinkedInなどが利用していることで知られ、ネット企業を中心に普及しつつあるが、今年の同カンファレンスでの発表を聞いて、国内のネット企業でも、もはや当たり前のように使われる状況になったのだと実感した。 国内でのScalaのユーザーとしては、ドワンゴ、エムスリ

オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」が、大きな変貌を遂げ始めている。バッチ処理だけでなく、SQLクエリーを使ったインタラクティブ分析やインメモリー処理、機械学習処理などへと適用領域を広げているからだ。Hadoopのオリジナル開発者であるダグ・カッティング氏は、「新しい時代が始まった」と語る。 現在のHadoopの状況をどのように見ているか？ 同じような機能を備えたコンポーネントが複数提案されるなど重複はあるが、技術開発は非常に高速に進んでいる。（米Apacheソフトウエア財団が2013年10月に正式版をリリースした）スケジューラーの「YARN」によって、（Hadoopのストレージシステムである）「HDFS」の上に、様々なテクノロジーを共存できるようになったことが大きい。私が特に驚いているのは、（DAG：Directed Acyclic Graph＝有向

From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluentd Meetupのデモでは9億件を7秒程度で検索していたが、BigQueryの真の実力はこれより1〜2ケタ上だからだ。ちょっと手元で少し大きめのテーブルで試してみたら、120億行の正規表現マッチ付き集計が5秒で完了した。論より証拠で、デモビデオ（1分16秒）を作ってみた： From The Speed of Google BigQuery これは速すぎる。何かのインチキである（最初にデモを見た時そう思った）。正規表現をいろいろ変えてみてもスピードは変わらない。つまり、インデックスを事前構築できないクエリに対してこのスピードなのである。 価格も安い。さすがに120億行のクエリは1回で200円もかかって気軽に実行できなさそうであるが、1.2億

米インテルとHadoopのディストリビューションベンダーとして知られる米クラウデラは、インテルがクラウデラへ出資、インテルがクラウデラの戦略的な筆頭株主となることを発表しました。 Cloudera, Intel Commit to Accelerate and Transform How Enterprises Use Big Data; Intel Makes Significant Equity Investment in Cloudera これはインテルにとってデータセンター関連で過去最大の投資。 プレスリリースでクラウデラは次のように記し、同社のHadoopディストリビューションをインテルアーキテクチャへ最適化していくと説明しています。インテルは技術やマーケティングの面でこれを支援していくとのこと。 Cloudera will develop and optimize Cloude

The Apache Software Foundationは、Hadoopの初めてのメジャーバージョンアップとなる「Apache Hadoop 2」の正式版公開を発表しました。 Hadoopは2004年にGoogleが公開したMapReduceに関する論文を元にオープンソースとして開発されたものでした。Hadoopの開発者であるダグ・カッティング氏は、Hadoop 2のプレスリリースで次のように発言しています。 "What started out a few years ago as a scalable batch processing system for Java programmers has now emerged as the kernel of the operating system for big data," said original Hadoop creator