※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！ こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている 新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。 データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば 第３世代に該当する新しいデータベース構成を現

はじめに こんにちは、IT 基盤部ネットワークグループの片桐です。 DeNA グループ全体のネットワークの管理、運用等を行っています。 今年8月、DeNAは本社拠点を渋谷ヒカリエから、WeWork渋谷スクランブルスクエアに移転しました。 この移転は我々としても、大きなプロジェクトでした。せっかくなので、オフィスネットワークにおける移転の裏側を紹介致します。 DeNAオフィス移転におけるネットワーク WeWorkへの移転であれば、ネットワークもWeWorkの設備を使うのでは、と考えられた読者もおられるのではないかと思います。 最初に移転プロジェクトメンバーと新オフィスのネットワークについて議論しましたが、 渋谷ヒカリエで運用していたネットワークと同じレベルの帯域・ネットワークの安定性・クラウドとの内部通信・ネットワークセキュリティ・ネットワーク運用体制の維持、 これら全てが必須要件でした。

こんにちは、SWETでCI/CDチームの前田（ @mad_p ）です。 SWETではCI/CDチームの一員として、Jenkins運用のサポートや、CI/CD回りのノウハウ蓄積・研究をしています。 はじめに Gitリポジトリをクローンすると、ローカルフォルダにはそのリポジトリの全体がダウンロードされ .git というフォルダに格納されます。ブランチをチェックアウトすると、ブランチ内のファイルがワーキングツリーとして展開されます。この様子を図にするとこのようになります。 この .git とワーキングツリーの使うディスク容量を節約しようというのが今回のお話です。特にJenkinsにおいて、大きめのGitリポジトリをクローンしてくる場合に課題があり、いろいろ工夫してみたので、その結果を紹介します。同じCI/CDチームの加瀬による記事「大規模リポジトリで高速にgit cloneするテクニック」と内容

2021年5月11日、AWSジャパンは年次イベント「AWS Summit Online」を開催した。昨年に続いてオンライン開催となったイベントの基調講演では、約3000台規模のオンプレシステムを3年かけてクラウドに移行したDeNAの南場智子取締役会長が登壇。経営と技術の両面で大規模な移行プロジェクトを振り返った講演は、なぜクラウドに移行するのかという疑問に対する圧倒的な説得力を感じられた。 決め手は「インフラエンジニアが創造的な仕事にシフトできる」こと AWS Summit Onlineの基調講演に登壇した南場氏は冒頭、「DeNA migrate」というスライドを高らかに掲げ、オンプレミスからAWSクラウドへの移行完了を宣言。対象となったシステムは大小合わせて300あまりで、毎秒数十万、1日で50億リクエストを受ける規模だ。もちろんデータはペタバイト級で、サーバー台数は約3000台となる。

今回のテーマは「分析基盤をうまく組織に浸透させる方法」です。 「分析基盤を浸透させていく上で、分析基盤を担う組織(分析基盤組織)がどのように形を変えていったか」という内容です。組織設計の参考になれば幸いです。

もう7年前になりますが、DeNA創業者の南場智子さんが講演で話された内容がとても良くて、いまでもたまにそのときのメモを読み返します。 2013年7月に日経新聞主催で開催された「グローバル・ウーマン・リーダーズ・サミット」での特別講演。「他人とか自分のことをあまり意識せず、コトに向かうように」というメッセージでした。 聞きながら取ったメモから、ここに再構成してみます。 南場：南場です。私あの、今日すごいアウェイ感を感じてまして。女性であるとか、男と女という枠組みで物事を捉えることが、すごく苦手というか、好きではなくて。 それで会社を起業したものですから、我が社の知名度が上がると、よく海外から「もすとぱわふるうーまんず、なんとか」に出てくれとかですね。そういう言葉を聞いただけで、クラクラと目眩がする感じです。 それで今日なんでここにいるのかなっていうと、日経さんで本を出しまして、お世話になっち

はじめにこんにちは。この記事はDeNAの小口（Rikiya Oguchi）と長谷川（Ryoji Hasegawa）がお届けします。 小口はゲーム事業部の分析部データエンジニアリンググループの所属で、長谷川は全社共通部門である分析推進部の所属です。ゲーム事業部と全社部門で所属は違いますが、近しいミッションのもと、普段から密に連携して仕事をしています。 DeNAでは現在、データプラットフォームの刷新を進めています。この記事では、そのプロジェクトについて、以下の流れでご紹介します。 現行データプラットフォームの背景と概要データプラットフォーム構築後の環境変化現行データプラットフォームが抱える課題現行組織が抱える課題データプラットフォームの刷新刷新後のシステム構成組織体制の刷新我々と同じようにデータプラットフォームの構築・運用に携わっている方々や、データプラットフォームを利用されている方々、特に、

はじめに こんにちは、IT基盤部の天野です。AWSやGCPを用いたゲームインフラを担当しています。 DeNAが運用している大型ゲームでは、ステートレスなサーバにスポットインスタンスを使用しています。 スポットインスタンスはAWSに中断(=shutdown)されることがある代わりに、コストを大幅に抑えることができるインスタンスです。 AWSのイベントで見かける資料では、定常的な負荷はリザーブドインスタンスや Savings Plans を利用し、さらに負荷が増える部分で万が一落とされても問題ない範囲をスポットインスタンスで運用することが推奨されていたりします。 しかし、DeNA では web、memcached、worker等のサーバにおいて、ほとんどのリソースをスポットインスタンスで運用し、それでいてサービスは絶対に落ちない自信を持っています。 実際に DeNA でスポットインスタンスを本

コスト・品質ともに最高レベルを実現していた、DeNAのオンプレミス。しかし2018年6月、DeNAは全社方針としてそのオンプレミスを捨て、3年の移行期間をかけクラウドに全面移行することを決定しました。 なぜDeNAは経営の意思決定として、当初「3倍のコストになる」と言われたクラウド全面移行に踏み切ったのか？ 本記事では「クラウドシフト決定の判断」に至る経営者の思いを語った『Google Cloud Next ’19 in Tokyo』でのDeNA代表取締役会長 南場 智子（なんば ともこ）講演内容をノーカット掲載します！ 「経営の言語」と「技術の言語」両方話せる人材を信頼する 私がDeNAを立ち上げたのは、1999年。今からちょうど20年前です。もともと、経営コンサルタントをしていました。得意なのは戦略や提携。それからマーケティングや分析などですね。一緒に起業した仲間も、同じファームから連

sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜4000core 分岐処理は苦手 行列演算に向いている GPU製品 NVIDIA Tesla HPC向けにGPUシリーズ NVIDIA GeForce GRID クラウドゲーミング向け AMD FirePro NVIDIA Tesla API CUDA OpenCL DirectCompute CUDAのアーキテクチャ CPU(ホスト)からGPU(デバイス)にデータを転送 GPUで処理 GPUから

モバイルゲームの「Mobage」からオンラインショッピング、オークション、キュレーションメディア、最近ではヘルスケア（遺伝子検査）やオートモーティブ（カーシェア、無人運転バス）といった新規事業まで、幅広いインターネットサービスを展開するDeNA（ディー・エヌ・エー）。そのサービスインフラを支えるエンジニア集団が、同社のIT基盤部だ。 DeNAでは今年、OpenStackを中心としてSDN（Software-Defined Network）、SDS（Software-Defined Storage）、LBaaS（Load Balanccer-as-a-Service）などの機能を統合した、新しいITインフラ／プライベートクラウドの利用を開始した。SDN基盤には、ビッグスイッチネットワークス（Big Switch Networks）の「Big Cloud Fabric（BCF）」を採用している

2. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ⾃⼰紹介 n  藤川和樹 ⁃  所属 •  DeNA システム本部 分析推進部 分析基盤グループ ⁃  2014.4 新卒でDeNAへ⼊社（3年⽬） •  これまでの主な業務内容 ⁃  ソーシャルゲームの各種課題分析、それに伴うデータ基盤の整備 ⁃  mobageプラットフォーム・キュレーションサービスにおける パーソナライズ・レコメンドシステムの開発 ⁃  mobageプラットフォーム上における対話型⼈⼯知能システムの開発 n  経歴 ⁃  2014.3 神⼾⼤学⼤学院 システム情報⼯学研究科 修了 •  研究分野 ⁃  深層学習、⾃然⾔語処理 •  テーマ ⁃  深層学習による複数⽂書の圧縮表現の獲得と株価動向推定への応⽤

1. 1 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 慶應義塾大学大学院 理工学研究科 2014年度下期 ビックデータ実践論 特別講義 DeNAの 大規模データマイニング活用した サービス開発 株式会社ディー・エヌ・エー 濱田晃一 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 2. 2 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆DeNAのサービス・データ規模 ◆講師紹介 ◆最後に ◆大規模データマイニング基盤構成 ◆楽しさのマイニング ◆データマイニング活用したサービス開発 ◆データマイニング活用によるサービス洗練 ◆提供価値 ◆事例：提供体験・アルゴリズム ◆活動 ◆はじめに

DeNAのZIGOROuさんによる技術選択とアーキテクトの役割というスライドを拝見して、大いに感じるところがあったので、少し書く。といっても、技術的な話というよりは、もうちょっと違うレイヤの話(技術選択についても思うところはあるのだけど、それはそれについて述べたスライド*1を参照していただきたい)。 経験曲線効果 経験曲線効果という言葉がある。元は、ボストン・コンサルティング・グループ(BCG)のコンサルタントによって提唱されたものだ*2。このような図*3を見たことがあるだろう。 Wikipedia*4には以下のように説明されている。 経験曲線効果(けいけんきょくせんこうか、experience curve effect)とは、経験と効率との間の関係を示す経験則である。単に経験効果とも呼ばれる。一般に個人や組織が特定の課題について経験を蓄積するにつれて、より効率的にその課題をこなせるように

1. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Developers Summit 2015 技術選択と アーキテクトの役割 19-A-3 February 19, 2015 Toru Yamaguchi Senior Architect Platform System Division DeNA Co., Ltd. 2. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Developers Summit 2015 自己紹介  会社 ⁃ 株式会社ディー・エヌ・エー  組織 ⁃ システム本部プラットフォームシステム部  役職 ⁃ シニアアーキテクト  活動 ⁃ 前 Japan Perl Association 理事 ⁃ Perl Monger ⁃ Identity Confere

タイトルの通りですが、12 月末で 6 年弱勤めた DeNA を退職して、1 月から AWS に Join してます。日本の Solution Architect です。初めての B2B のお仕事なので新卒新入社員の気持ちです。新卒入社時の予定ではもうアメリカに留学してるはずだったのに、どうしてこうなったのやら。。。 さて、DeNA にはエンジニア未経験の状態からここまで力を付けさせてもらって大変感謝しています。売上に直接貢献するような仕事はほとんどできなかったですが、起こらなかった問題に対する貢献は少しは出来たかなと思っています。そういえばここではちゃんと書いてなかったですが、最後の１年間は MYCODE という遺伝子解析サービスの開発をゼロから行っていて、何もないところからリリースまで辿り着くという産みの苦しみを味わうことができて非常にエキサイティングでした。ちょっとだけですが Sec

1. FINAL FANTASY Record Keeper の作り方 株式会社ディー・エヌ・エー Japan リージョン ゲーム事業本部 新井 英資 eisuke.arai@dena.com ©2014 SQUARE ENIX CO.,LTD / DeNA Co.,Ltd. All Rights Reserved. 2. 自己紹介 • 新井 英資 • FINAL FANTASY Record Keeper (FFRK) リードエンジニア • 2011年入社 4年目 • 以前はアルバイトでiOSアプリを作ったり • インフラやミドルウェアとチームを繋ぐ人 • 出来ないことを出来るようにします

1. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Mobageを支える November 11th, 2014 ! Naotoshi Seo @sonots DeNA Co., Ltd. Rubyの技術 ~複数DB編~ 2. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 2 自己紹介 ・瀬尾 直利 @sonots ・DeNA, Co., Ltd ・インフラの Dev ・Rubyist ・OSS 活動家 ・Fluentd コミッタ