こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基

Talked at Cloud Native Lounge #2「クラウドネイティブなシステムの継続的改善と企業文化」. https://forkwell.connpass.com/event/215798/

このシリーズの第一回では、べき等性とは何かについて紹介しました。べき等性とは「ある操作を 1 回行っても複数回行っても結果が同じである」という概念で、例えば実数の乗算では 0 と 1 がべき等になります (ある数字に 0 または 1 を何回掛けても同じ結果になる)。前回の記事では注文処理の例、障害復旧時のフロー処理の例でべき等性の考え方を紹介し、べき等性を保証する実装の典型的な基本パターンとして、①入力時チェック方式、②出力時チェック方式、③トランザクション型への処理への対応について説明しました。本シリーズでは AWS のサーバーレスサービスの利用を前提に、べき等性を実現する具体的な実装について紹介します。べき等性の実現には考慮すべき点が多いため、個別のユースケースを取り上げながら、どのようにべき等性を実装するかについて、これから数回に分けて解説していきます。 第一回の記事 では、クライア

Maintain an inventory of the AWS resources across your accounts and AWS Regions Workload Discovery on AWS (formerly called AWS Perspective) is a tool to visualize AWS Cloud workloads. Use this AWS Solution to build, customize, and share detailed architecture diagrams of your workloads based on live data from AWS. The solution maintains an inventory of the AWS resources across your accounts and AWS

Talked at CloudNative Days Tokyo 2020 #CNDT2020. Video available at https://event.cloudnativedays.jp/cndt2020/talks/30

Binary Authorizationと友達になろう / Let's be friends with Binary Authorization

6月13日、AWS Summit Tokyoにてスタートアップ企業によるピッチコンテスト「Startup Architecture of the year」が開催された。2回目となる今年は、創業3年以内のスタートアップ企業を対象に実施。各社のビジネスのビジョンと、それを支えるシステムアーキテクチャに焦点を当て、スケーラビリティやパフォーマンス、コスト効率など多様な観点からWell-Architectedなアーキテクチャを選出する。一般公募から審査を勝ち進んできた7社が登壇し、しのぎを削った。果たして、グランプリに輝いたのは？ 今年も優れたアーキテクチャが集まった“Startup Architecture of the year” 昨年初めて開催され、好評のまま終わった「Startup Architecture of the year ピッチコンテスト」。今年もファイナリストたちが各5分のピ

[2019年2月] AWS: カラーのアーキテクチャアイコンと re:Invent2018 の新しい製品アイコンがリリースされました はじめに 昨年の10月にAWS アーキテクチャアイコンが刷新されました。その際に白黒のアイコン（暗い背景と明るい背景の２種類）がリリースされました。 AWS Architecture Icons、新しいAWS製品アイコンがリリースされました 今回、更にカラーのアーキテクチャアイコン、re:Invent2018の新しいAWS製品アイコンが追加されました。下記のリンクからPowerPointのファイルやAssetｓ(EPS、PNG、SVG)のダウンロードが可能です。 AWS Architecture Icons AWS アーキテクチャアイコン アクセシビリティのニーズに応じて、「暗い背景」と「明るい背景」の２種類のアイコンが提供されています。今回は更にカテゴリの

AWS構成図の作成に便利なAWSシンプルアイコンが、装いも新たに AWS Architecture Icons としてリリースされたので、新旧比較を行ってみました。 はじめに AWSチームのすずきです。 AWS構成図の作成に便利なAWSシンプルアイコンが、装いも新たに AWS Architecture Icons としてリリースされました。 従来のAWSシンプルアイコン(2017版)との違いを確認する機会がありましたので、紹介させていただきます。 公式ページ AWS Architecture Icons ダウンロードリンク PowerPoint 用 AWS アーキテクチャアイコン AWS-Architecture-Icons-Deck_20181009.pptx AWS_Simple_Icons_PPT_v17.1.19.zip 比較 AWS Architecture Icons のページ

Stream Processing

6月1日、AWS Summit Tokyoの最終日にスタートアップのピッチコンテスト「Startup Architecture of the year」が開催された。ビジネスを支えるシステムアーキテクチャに焦点を当て、スケーラビリティの担保や先進技術の取り入れ方、セキュリティへの取り組みなど、さまざまな観点からWell-Architectedなアーキテクチャを選出する。一般公募から厳しい一次選考を勝ち抜いたスタートアップ企業7社が登壇し、現役CTO100人が選ぶグランプリをはじめ3つの賞を争った。果たして誰が栄光に輝いたのか。当日の様子をレポートする。 100人の現役CTOが、自らの経験と確かな知見で選ぶ”Startup Architecture of the year” 厳しい選考を勝ち抜いた、スタートアップ企業のエンジニアたち スタートアップ向けのピッチコンテストは、ビジネスモデルにフ

サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」 #devsumi 「そのサーバーレス、本当に意味あるの？」 AWS re:Invent 2014で、AWS Lambdaが発表されてから丸3年が経過。サーバーレスという単語もすっかりこの界隈では定着した感はあります。 ですが、実際の開発・運用ノウハウについては、まだまだ試行錯誤が続いているのが現状じゃないでしょうか。ぶっちゃけ、既存アプリケーションのEC2をLambdaに置き換えるだけではほとんどメリット無いでしょ、という感触は、ある程度サーバーレスアプリケーションをゴリゴリ作っている人であれば、よく感じていることだと思います。 そんななか今回受講したこのデブサミのセッションでは、新しい観点でサーバーレスがもたらす恩恵やメリットを捉えることができてごっつ新鮮だったので、その模様をお届け

概要 Lambdaは100msの実行時間単位でオンデマンドに課金されるため、立ち上げっぱなしのEC2インスタンスよりも、料金が安くなる可能性があることが一般に知られている。 しかし、以下の性質を満たすアプリケーションでは、EC2インスタンス上に構築したケースと比較して、Lambda上に構築したほうがコスト効率が悪くなるのではないかと考察してみた。 Lambda functionの実行時間のうち、ネットワークI/O時間が支配的である Lambda functionの実行終了を同期的に待たなければならない 複数のレコードをLambda functionの引数に渡すことができない Lambdaの基本コスト構造 まず、Lambdaのコスト構造を把握する。 Lambdaの料金表[1]によると、「functionに対する合計リクエスト数」と「functionの合計実行時間」に応じて料金が発生する。 後

サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇

補足: AWS Lambda のコンテナのライフサイクルについては説明を単純化していますので、詳しくは http://www.slideshare.net/keisuke69/aws-lambda-46129981 こちらの 42 ページ以降を参照してください

紙面ビューアーを支える サーバーレスアーキテクチャ / serverless architecture supports Nikkei's paper viewer

8. AWS Gaming 70を超えるクラウドサービスを提供 AWS Gaming ENTERPRISE APPS DEVELOPMENT & OPERATIONSMOBILE SERVICESAPP SERVICESANALYTICS Data Warehousing Hadoop/ Spark Streaming Data Collection Machine Learning Elastic Search Virtual Desktops Sharing & Collaboration Corporate Email Backup Queuing & Notifications Workflow Search Email Transcoding One-click App Deployment Identity Sync Single Integrated Console Push

ニューヨークで開催されたイベント「AWS Summit 2016 New York」。基調講演で同社CTOのWerner Vogels氏は、Amazon.comのシステムがモノリシックな構造からSOAへ、そしてマイクロサービスへ移行する際に得た教訓について手短に紹介しています。 機能ドリブンでサービスを分解するべきだった Werner Vogels氏。 10年前の話をしよう、Amazon.comは巨大なモノリシックな構造から転換してきた。私たちのお客様もおそらく、似たような経験をこれからするはずだ。 Amazon.comは、モノリシックな構造からSOAに転換すると決めた、それはいわゆるSOAが登場するよりも前の時期だ。 さまざまなコンポーネントをサービス化し、APIでつなげるようにした。これは非常にうまくいったが、しかし私たちは間違いにも気づき始めていた。 それは、データドリブンにサービス

こんにちは、@Keisuke69 です。 ポエムです。 クラウドネイティブとサーバレスアーキテクチャと言うものに関してなんとなく整理がてら書きたいなーと思って。 ま、この2つを一緒に話すのはどうなんだって気もするがポエムなので気にしない。あと文章長い割りに大して中身はない。 クラウドネイティブ そもそもクラウドネイティブとはなんなのか。クラウドネイティブって言葉が先行していて実際のところなんなのか分からない人も多いはず。何かきちんとした単語の定義があるかっていうともちろんそんなのあるわけない。人それぞれモヤっとしたイメージがきっとあってそれを一言で表現するのにクラウドネイティブってキーワードが使われてるのかなと。ラベリング重要。 とはいえ、クラウドネイティブというお題で僕が話をするときに毎回最初に定義をしていて、その定義は以下の通りだ。 クラウドで提供されるサービス利用を前提に構築するシス