スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Conference Japan 2019 #hcj2019

1. Yahoo! JAPAN での Hadoop 利用について ヤフー株式会社 R&D 統括本部 吉田一星、古宮陽明 2010 年 8 月 4 日 2. 自己紹介 吉田一星 （よしだ　いっせい） R&D 統括本部プラットフォーム開発本部検索開発部開発３ R&D 統括本部フロントエンド開発本部アプリケーション開発部開発４（兼） R&D 統括本部プラットフォーム開発本部要素技術開発部開発３（兼） 2008 年にヤフー株式会社に入社 検索サービス構築プラットフォーム（ ABYSS ）で Hadoop 部分を担当するエンジニア 画像処理、地図検索、地域プラットフォームでも Hadoop に関わる開発を経験 TechBlog で Hadoop に関する記事を執筆 3. 自己紹介 古宮　陽明 ( こみや　ようめい ) R&D 統括本部 プラットフォーム開発本部セントラル開発 2 部 開発 3 200

データ解析・機械学習セミナー 【found IT project #7】発表資料 http://foundit.tokyo/seminar/20170525_03 https://foundit-project.connpass.com/event/56033/Read less

OEM系→ODM系にシフトした背景ですが、1つは 価格競争力 です。 インフラにおいてプライスは重要な指標です。 また昔と今でヤフーのサーバーの買い方に違いがある事もポイントになっています。 昔のヤフーは、いろいろな部門が、いろいろな構成のサーバーを、いろいろなタイミングで購入していました。 この結果、納期面で有利なOEMを第一選択肢としていました。 またいろいろな構成のサーバーが入る事を考慮した結果、自営保守ではカバーしきれない範囲も多く、ベンダーが提供するサポートに依存している部分もありました。 しかし最近では 自社クラウド環境の普及により、決まった部門決まった構成決まったタイミングで購入するように になってきたため、 納期に関して余裕を持ったスケジューリングができるようになりました。 またクラウド環境で利用できるサーバーはかなりハイスペックなため、価格の数％の違いも大きなビジネスイン

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。第8代黒帯〜プログラミング言語（Java）〜 の森下と申します。 ヤフーでは、最近はJavaで書かれたさまざまなOSSの利用や貢献がされていたり、サービス開発でもJavaが使われることが増えてきているなど、社内でのJava利用が拡大してきています。 その背景には、ヤフーにおける標準言語の一つとしてJavaが位置付けられていることや、システムが大規模になるにつれて静的型付けやコンパイルなどできっちり作れるという利点が活きてくる点、また社内で利用できるPaaS環境（Pivotal Cloud Foundry）でもSpring Bootベースのアプリケーションがサポートされていて親和性があるといったことからだと思い

特筆すべきはボット数かもしれません。ボットは何らかの操作を自動で行うために作られたプログラムで動作するアカウントなのですが、なんとそのボットの数（14,000）がユーザーの数（18,000）に迫りつつあります。MYMのボットは通常ひとつの部屋にリンクしているため、おそらく同じような機能を持ったボットが大多数だと思われますが、ボット数 14,000 はインパクトのある数字ですね。 興味深い部屋の数々 MYMはこの8年間で計150,000の部屋が生み出されました。業務系・技術系・雑談系を問わず、異彩を放つ部屋は数え切れないほどあります。ここでは数多くの部屋の中でも、ひときわ特徴的な部屋を紹介してみようと思います。 もちろんすべての部屋を把握しているわけではないため、あくまで把握している範囲内での紹介となることをご了承ください。 トピックス編集 Yahoo!ニュース トピックスの編集業務に活用さ

ヤフトピ編集を辞めてド競合の某社に転職するので、憧れの退職エントリってやつを書いてみます。実は最後の半年はヤフトピ編集じゃなかったんだけど、許してください。タイトルは読まれてナンボです。 2007年に地方新聞社からヤフーに転職して、11年間、ヤフトピ編集を担当しました。2万本以上の見出しを付けて、日本で一番、総PVを稼いだと思っています。自称ですが。 11年前っていうとまだまだネットニュースが牧歌的な時代。プレスマホ時代と今では隔世の感があります。当時は数時間に一度Yahoo!トップが変わっていればよかったのに、今じゃリアルタイム更新の上、プッシュ通知を競合より1秒でも早く！って感じで常に判断を求められてヒリヒリします。 今のヤフトピは24時間体制で、平日、休日問わず10人以上の編集者が1日5千本の配信ニュースに目を光らせていますが、自分がヤフーに入社した頃は、休日に出社している編集者はた

2018年4月21日に開催されたエンジニア向けイベントにて、当社社員が行った機械学習に関する講演内に、不適切な表現が複数ありました。本表現によって、多くの方に不快な思いをさせてしまったことを、深くお詫び申し上げます。 今後は、このようなことが二度と起きぬよう、改めて社内のチェック体制の見直し・徹底、全社員に対する啓発教育などを通じて、再発防止に努めてまいります。 改めまして、多くの方に不快な思いをさせてしまったことを、深くお詫び申し上げます。

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。Yahoo! JAPANでHadoopに携わっているエンジニアの浅沼です。Hadoopは大量のデータを分散処理するためのオープンソースソフトウエアです。この夏にリリース予定のバージョン3.0系には、HDFSの新機能であるErasure Codingが導入されます。Yahoo! JAPANではHadoopコミュニティーでErasure Codingの実装に参加してきました。本記事ではErasure Codingの仕組みを詳しく解説し、弊社での運用事例を紹介します。 既存のHDFSの課題 Hadoopの中核をなす分散ファイルシステムのHDFS（Hadoop Distributed File System）は、マス

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。 IDソリューション本部の都筑です。 新卒2年目で普段はYahoo! ID連携のサーバーサイド、iOSのSDKの開発などを担当しています。 今回は最近ユーザーやデバイスの認証で用いられる”JSON Web Token（JWT）”についての解説と、Yahoo! JAPANと他社の活用事例を紹介したいと思います。 JWTとは？ JWTとはJSON Web Tokenの略称であり、属性情報（Claim）をJSONデータ構造で表現したトークンの仕様です。 仕様はRFC7519（外部サイト）で定められています。 特徴として、署名、暗号化ができ、URL-safeであることなどが挙げられます。発音は"ジョット"です。 JWTと関連す

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装

9/25に以下、転職ドラフトReport記事にてご報告いたしました件につきまして、事実確認をいたしました。 転職ドラフト経由での選考における提示年収に関する問題について 発生事象 ・提示年収550万円のユーザーから、内定時年収としてブログにあるような提示がされたと報告があった。以下引用する。 実際に提示された金額は4,288,000円、月給では268,000円。 人事担当者の説明では、この金額にみなし残業時間25時間分が付き実際には4,912,228円になる。 更に社員の月平均残業時間30時間の場合なら5,037,064円、参考までに月45時間残業した場合には5,411,608円になりますとの事。 ・4,912,228円は5,500,000円の90%に満たない ・みなし残業代、および通常の残業代を提示年収に含むことは、不適切なのではないかとの指摘をユーザー様よりいただく ・ブログにあったお

今後のために記録しておく。ほかにもあったら教えてほしい、ただし、ソースのないものは載せない方向で。 Yahoo! Japanソース: http://anond.hatelabo.jp/20160925170021 ところが、内定通知と同時に提示された年収が想定していた額とかなり違っていた。 Y社からのドラフトでの指名額は550万で、転職ドラフトのルールでは指名額の9割以上を保証という事だったので、最悪でも495万以上のはずであると思っていた。 実際に提示された金額は4,288,000円、月給では268,000円。 人事担当者の説明では、この金額にみなし残業時間25時間分が付き実際には4,912,228円になる。Y社とあるけどまあYahoo! Japanだよね。 https://job-draft.jp/festivals/2/companies にYで始まる会社は一社しかないし。 転職ドラ

本日、以下のブログにて、転職ドラフト経由で選考に進んだ方と特定の企業の間にて起こった問題について公表されております。 転職ドラフト経由でY社の内定貰ったけど 本件に関して、私達のこれまでの認識が甘く、また事前の規定、対応ともに不十分だったと反省しております。 これにより、会員の皆様、ならびに、転職ドラフトを楽しみにご覧いただいているユーザーの皆様に多大なご迷惑をおかけし、誠に申し訳ございません。 現在、当該問題における、今回の関連企業への対応方針、及び今後の改善案について、転職ドラフトチームで協議を進めております。 なお、改善案については別途ユーザーの皆様のご意見も頂戴したいと考えています。その際はご協力いただけたら嬉しく思います。 明日9/26（月）中に、転職ドラフトとしての見解、改善策を発表いたします。 どうあるべきかを考え、きちんと対応しますので、もうしばらくお待ちください。

提示された金額が指名時の金額と大きく違っていて辞退することになった。 こんな事を書くと関係者からは余裕で特定されると思うが、それでも問題提起したかったので書く。 転職ドラフトという、企業がWebエンジニアのプロフィールや職務経歴書を見て年収付きで指名を出すというサービス（イベント）がある。 「今までの転職活動は選考の最終段階になって初めて年収を提示されるためミスマッチが起きやすい。転職ドラフトではリアルな年収が最初に分かりその上で選考に進むか判断出来る！」というエンジニア目線がウリらしい。 https://job-draft.jp/ 面白そうだと思ったので登録してみたところ、大変有り難い事に500万～600万で6社ほどから指名を貰えた。 その中で興味のあった大手Y社の指名を承認し、面談で会社説明を聞いたあと改めて履歴書や経歴書を送りエントリーし、適性試験や数回の面接を経てとうとう内定を貰っ

え～っと、、、よくある勘違いなんですが、自然界は「弱肉強食」ではありません 弱いからといって喰われるとは限らないし、強いからといって食えるとも限りません 虎は兎より掛け値なしに強いですが、兎は世界中で繁栄し、虎は絶滅の危機に瀕しています *** 自然界の掟は、個体レベルでは「全肉全食」で、種レベルでは「適者生存」です 個体レベルでは、最終的に全ての個体が「喰われ」ます 全ての個体は、多少の寿命の差こそあれ、必ず死にます 個体間の寿命の違いは、自然界全体で観れば意味はありません ある犬が２年生き、別の犬が１０年生きたとしても、それはほとんど大した違いは無く、どっちでもいいことです 種レベルでは「適者生存」です この言葉は誤解されて広まってますが、決して「弱肉強食」の意味ではありません 「強い者」が残るのではなく、「適した者」が残るんです （「残る」という意味が、「個体が生き延びる」という意味

ども、おっさんです。 先日、セキュリティエンジニアになりたい高校生の知恵袋にセキュリティ業界の重鎮が集結し話題になってましたね。何がきっかけで重鎮が集まってきたのかは不明ですが、知恵袋の本気というか、インターネットの本気を垣間見た気がしました。 ↓第2弾書きました detail.chiebukuro.yahoo.co.jp というわけで、Yahoo!知恵袋の中で秀逸な質問と回答を少しばかり集めて見ました。 お金を儲ける事に遠慮してしまいます。 detail.chiebukuro.yahoo.co.jp 自分が儲けると誰かが存しているんじゃないか?という感覚のある質問者に対し、ベストアンサーの回答者がわかりやすい例えで解説をしています。 たしかにマネーゲームの様なゼロサムゲームでは、誰かが儲ければ誰かが損するという考えはもっともなんですが、経済活動によって付加価値が増えていき結果として冨が増

指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。

3. Yahoo! JAPANのRDB環境 • 11g RAC Enterprise Edition • 約200DB • サーバ 200台, Exadata もあるよ • MySQL 5.1 (RR,Mixed) Percona 5.5 (RR,Mixed) Percona 5.6 (RC,RBR,GTID) • 約500DB • サーバ 300台 Oracle Database MySQL Percona