8/7(水)にRAKUS TechConference（以下TechCon）が開催され、盛況のうちに閉会しました。本記事ではその様子を、TechConを開催する目的や背景、当日発表資料なども交えながらご紹介します！ TechConとは？ TechConの開催目的 今年のテーマは「顧客志向」 ラクスの開発組織にとって「顧客志向」とは なぜ「顧客志向」をテーマに選んだのか？ イベント概要 発表の紹介 「顧客志向」の開発組織 マルチプロダクトでのプロダクトマネージャーのリアル 拡大するマルチプロダクトSaaSの顧客理解にデザイン組織はどう取り組んでいるか 急成長する大規模プロダクト開発のマネジメント課題とアプローチ パフォーマンス向上とリソース管理のためのアプローチ 急成長するサービスを支えるためのインフラ戦略 楽楽精算のQA改革～楽楽精算でのQA専門組織の実践と成功事例 新たな顧客課題に挑む1

QuipperではメインのデータベースとしてMongoDBを活用しており、データサイズは1TBを超えています。 これまでユーザーやデータが増えるたびにスケールアップを繰り返してきたので、AWSの最高性能のサーバを使う状況になっていました。 このような大規模なサービスにおけるMongoDBの運用について書いていきたいと思います。 今回はインデックス編です。 はじめに 当記事で登場するMongoDBの構成 クラスター管理: MongoDB Cloud Manager & AWS EC2 ReplicaSet Cluster: Primary, Secondary, Hidden Secondary EC2 instance type; i3en.24xlarge (Primary/Secondary) RAM: 768GB (Primary/Secondary) MongoDB Version

サイバーエージェントグループには、様々なSRE組織があり、日々サービスの信頼性向上に取り組んでいます。 6月27日〜28日にかけて開催した「CyberAgent Developer Conference 2023」では、当社のDeveloper Experts（SRE領域）を務める柘植が、サイバーエージェントグループのSRE組織やSREsの活動についてもご紹介しました。 柘植 翔太 2014年新卒入社。インフラエンジニア、SREとして、AMEBA、AWA、社内基盤など50以上のメディアサービス・システムへのSRE推進、リスク改善、サービス立ち上げを経験。現在は、横断SRE組織のマネージャーとして、SREのプラクティス開発やEnablement、人材育成へ注力している。 サービスリライアビティグループというメディア事業横断のSRE組織のマネージャーをしている柘植と申します。本日はデータで見る

「SREの現場から」と題した本連載では、さまざまな企業におけるSREの実践事例を不定期に紹介していきます。 こんにちは、LINE株式会社の加藤（maru）です。SREチームに所属し、主にLINEスタンプや着せかえ、ホームタブ、ウォレットタブでEmbedded SREとして信頼性の改善に従事しています。 LINE株式会社は、コミュニケーションアプリ「LINE」を機軸として、コミュニケーション・コンテンツ・エンターテイメントなどモバイルに特化した各種サービスの開発・運営と広告事業に加え、Fintech事業、コマース事業などを展開しています。基軸となる「LINE」アプリは2023年現在、世界で約2億人が利用しており、LINEスタンプと呼ばれる画像を用いたコミュニケーションがユーザー同士で活発に行われている点が大きな特徴のひとつです。 これから数回にわたり、SREの私が主に担当しているLINEスタ

こんにちは、Sansan Engineering Unit マスターデータグループの金子です。 私たちが開発しているシステムの中に、MongoDBを採用しているシステムがあります。私自身NoSQLを使用しているシステムの開発に携わるのは初めてなので、毎日いろいろな学びを得ています。 ある時、そのシステムで大量のデータをDBに書き込む処理を行うと、MongoDBのoplog関連のエラーが出てしまったことがありました。今回はその時の原因と対応について紹介し、MongoDBのoplogについて理解を深められた話をします。 環境 MongoDB 5.0 MongoDB Atlas 発生したエラー エラーの文言はこちらです。 PlanExecutor error during aggregation :: caused by :: Resume of change stream was not po

はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec

社内で広く用いられているデータベースであるMongoDBのバージョンアップ業務に携わったので，その過程で得られた知見についてまとめようと思います．

はじめに hey のECとかレジのバックエンドエンジニアをやっている @ucks です。 前回は、Mongoid の基本的な使い方と MongoDB を利用した開発のメリットを紹介しました。 今回はもう少し踏み込んで、STORES (以下、区別のため STORES EC と表記)、STORES レジで利用している仕組みを紹介します。 タイトルにもありますが、 STI をご存知でしょうか? Single Table Inheritance の略で、日本語にすると単一テーブル継承と言うらしいです。 筆者は、初めて聞いた時、青い車向けのピンクのパーツを開発している会社しか思い当たりませんでした。 簡単に説明すると1つのテーブルで複数のモデルを永続化する手法です。 STI には良い印象を持ってない人も多いかと思いますが、STORES EC とレジでは、Webアプリケーションフレームワークに Rub

The aggregation pipeline allows MongoDB to provide native aggregation capabilities that corresponds to many common data aggregation operations in SQL. The following table provides an overview of common SQL aggregation terms, functions, and concepts and the corresponding MongoDB aggregation operators:

今回も前回に引き続き、コンソールでの操作を行います。 NoSQLプロダクトには通常、SQLで言うところの WHERE句やGOURP BY句などの集計機能が備わっていません。 ですが、MongoDBはNoSQLでありながらRDMBSの機能も一部実装しており、集計機能に関しても実装されています。 MongoDBで集計処理を行う場合はさまざまな方法があるようですが、今回はAggregationフレームワークを使用します。 まずは集計を行うに当たり、適当なデータを入れておきます。 >db.member.insert( { "name" : "sato", "score" : 100, "birthplace" : "Tokyo"}) >db.member.insert( { "name" : "suzuki", "score" : 90, "birthplace" : "Tokyo"}) >db.

先日、僕の開発してるあにみた！が一周年を迎えました。 せっかくなのでデータを公開してみようと思いたったのが始まりです。 が、PHP上（正確にはFuelPHP）で集計するにはメモリーが足らないとサーバーから怒られてしまった。 集計したいこと＆やっていることをまとめたのが下記。 集計期間を1年 全ユーザー、作品対象 ソートをPHP上でやっている（mongoはjoin出来ないので） そら重いよね。。。 チェックインデータだけでも100万件以上あるし、それを作品ごとに全ループすれば当然その分の配列データをメモリー上に保持し続けるわけで… ちなみにmongoDBの操作にはFuelPHPに標準で搭載されている拡張を使っているのだけれども、細かいところに手が届いておらず、何かやりたい時にはmongoコマンドを叩かないといけない。 結局、自前のmongoexなるMongoマッパーを作成し使っています。 し

MongoDBでの集計処理の概要 一般的なNoSQLプロダクトは、RDBのSQLでいうGroup By句やSum関数などの集計機能がありません。集計を実施するには、アプリケーション側で独自にコードを書くことになります。 しかし、MongoDBは、NoSQLのパフォーマンスを維持しながら、RDBライクな機能を実装することを開発方針として掲げており、集計機能に関してもいち早く実装してきました。MongoDBで集計処理を行う方法は3つあります。 1. Aggregationフレームワーク SQLでいうGroup By句やSum関数を提供します。Mongo Shellからクエリと同じように実施できます。一部の処理（$groupと$sort）はシャーディングに対応しており、各シャードで処理します。 2. MongoDBのMap/Reduce機能 Map関数/Reduce関数を独自に定義し、集計処理を

Aggregation MongoDBでは集計のために Aggregation という仕組みが用意されているのですよ。すわ！便利。 例として、WebShopsコレクション（≒テーブル）に各Web店舗のアクセス数が日単位で記録されているものとし、ここ一週間のアクセスランキングを取得してみます。 PHPでのサンプルコードは下記のようになります。 // MongoDBへ接続 $mongo = new Mongo(); // MyDBデータベース $db = $mongo->selectDB('mydb'); // WebShopsコレクション（≒テーブル） $collShops = $db->selectCollection("webshops"); // ここ一週間でのWebアクセスが多い順に店舗を取得 $docs = $collShops->aggregate( array( // $mat

こんにちは。Tokyo Otaku Mode CTOの関根です。 Tokyo Otaku Modeでは、2013年8月からotakumode.com上にカート機能を追加し、決済までをワンストップでできる海外向けECサイトをスタートしました。 どういうシステム構成でotakumode.comが運用されているかを聞かれた時、「Node.js + MongoDBです」と答えると、エンジニアの皆さんは一様にびっくりします。特に驚かれるのが、MongoDBをメインのDBに使用している点です。信頼性に定評があるわけでなく、またNoSQLに対するライトなイメージが一般的にあるため、ECサイトのプロダクションとして使うことに疑問を持たれている方が多いのでしょう。 しかし、十分実用に耐え、日々機能追加が入り成長し続けるスタートアップの環境で、実際に1年間運用してきたECサイトがここにあることも事実です。 そ

Capped collections are fixed-size collections that insert and retrieve documents based on insertion order. Capped collections work similarly to circular buffers: once a collection fills its allocated space, it makes room for new documents by overwriting the oldest documents in the collection. Restrictions Capped collections cannot be sharded. You cannot create capped collections on serverless inst

By default, MongoDB automatically closes a cursor when the client exhausts all results in the cursor. However, for capped collections you can use a tailable cursor that remains open after the client exhausts the results in the initial cursor. Tailable cursors are conceptually equivalent to the tail Unix command with the -f option ("follow" mode). After clients insert additional documents into a ca

毎日ブログを書くようにしたら体調が良くなった ある日ふと、「最近の自分はアウトプットに臆病になっているなー」と感じ、こういうエントリを書いた。 daiksy.hatenablog.jp 内容は、雑なアウトプットで「だいくしーさん考えが浅いな」みたいな「化けの皮が剥がれる」ことを恐れているが、自分が過剰に意識するほど…

See the leading organizations creating applications never before possible with MongoDB.