データアナリティクス事業本部のueharaです。 今回は、Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみたいと思います。 はじめに 2023年の10月に、Serverless FrameworkがV.4から有料化されることが発表されました。 ライセンス費用を支払いV.4を利用するというのも1つの手ではあるのですが、今回はAWS CDKとAWS SAMへの移行を検討してみたいと思います。 結論 まずは、移行を検討した結果の表を以下にまとめます。 個別の内容については以降の章で説明を実施します。 フレームワーク 利用コスト 移行コスト メリット・デメリット Serverless Frameworkからの移行の総論

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

こんにちは、データ基盤の開発、運用をしていた谷口（case-k）です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていました。負債を解消しようにも利用者が約300人以上おり、影響範囲が大きく改善したくても改善できずにいました。 本記事では旧データ基盤の課題や新データ基盤の紹介に加え、どのようにリプレイスを進めたかご紹介します。同じような課題を抱えている方や新しくデータ基盤を作ろうとしている方の参考になると嬉しいです。 データ基盤の紹介 旧データ基盤の紹介 旧データ基盤の課題 変更があっても更新されないデータ 性質の異なるテーブルを同じ命名規則で管理

はじめに さくらインターネットの前佛と申します。「CentOS Linux 8のEOLと対応策の検討」というテーマで発表させていただきます。補足資料が下記のURLにあります。参考になると思いますので、併せてご覧ください。 https://bit.ly/osc22on-centos 発表の流れ 発表の流れとしては、まず一つ目は「CentOS 8は終わってます」って話です。そして実際どうしたらいいんだろうっていうところで、いくつかの選択肢を考えてみましょうとか、現実的にどうしましょうかっていう話ですね。あと、移行スクリプトが提供されてるものがありますので、それを使って今のCentOS 8の環境を別の環境に延命する方法もご紹介したいと思っています。 後半では、そもそもCentOSは今どんな状況にあるのかとか、第3の道としてコンテナを使った、クラウドネイティブに対応したアプリケーションの移行という

https://speakerdeck.com/ktock/dockerkaracontainerdhefalseyi-xing背景: Kubernetes 1.24は組み込み機能としてのDocker対応を打ち切る2014年に公開された初期のKubernetesはDockerにのみ対応していましたが、2016年のKubernetes 1.5では Container Runtime Interface (CRI) と呼ばれる共通インターフェースが導入され、 CRIに対応した任意のランタイムが利用可能になりました。以来、様々なランタイムが開発されてきましたが、2022年現在では containerd と CRI-O の 2つが主流です。 CRIが導入されてからも、Kubernetesに組み込まれているDocker対応機能(dockershim)が広く使われていましたが、2022年4月リリース予

Calendar for PostgreSQL | Advent Calendar 2021 - Qiita の10日目の記事です。 思い当たる節がある人は、今の見積もりの数倍の時間と予算を確保してからキックオフして欲しい。 多分、そのまま走ると誰か倒れるから。。。 で終わりにするわけにはいかないので、いくつか書きます。 もちろん、SQLがDBMSによって「方言」があるので、使える構文、関数名が違うってのは当然あるのですが、それ以外のところを中心に。 PostgreSQLのサーバーサイドエンコーディングはShiftJISをサポートしていない 今どき、新規で立てるデータベースはUTF8を選ぶよねーキャハハ、と思っても、何世代もバージョンアップしてきたOracleや、塩漬けされたOracleなんかは、ShiftJISを使っているところも多いのではないでしょうか。 自分で文字コードマッピングの処

はじめにこれは、2021年11月4日から5日にかけて開催された、CloudNative Days Tokyo 2021 においての私の発表資料となります。 発表 こんにちは。今日は、OOParts というクラウドゲーミングプラットフォームを Kubernetes 基盤に移行した話をします。よろしくお願いします。 私は、うなすけといいます。フリーランスとして、Webアプリケーションを開発する仕事をしています。2019年から、Black で OOParts のクラウドインフラ周りを担当しています。 皆さん、OOParts というサービスをご存知でしょうか。OOParts は、年代を問わず名作とされるビジュアルノベルゲームを、Webブラウザだけで遊ぶことができるクラウドゲーミングプラットフォームです。ユーザーは、インターネット環境さえあれば、端末を問わずにいつでもゲームをプレイすることが可能です

スタディスト 開発部 技術支援ユニットの笹木 (@s_sasaki_0529) です。 2021年上半期、およそ6万行の JavaScript コードを TypeScript に置き換える作業を、半年間単独で行いました。 本記事では、機能開発自体を止めずに、どのように走り切ることができたのか、ふりかえりたいと思います。 なお、本記事の内容は、移行開始直後の登壇資料 “大規模 Vue アプリケーションの TypeScript 移行” と、移行完了後の登壇資料 “6万行の TypeScript 移行とその後” と重複する内容を含んでいます。 Teachme Biz と TypeScript弊社が開発している、マニュアル作成・共有システム Teachme Biz は、iOS/Android や Windows など、マルチプラットフォームで提供されています。 その中でも、作成・管理に多く使われて

こんにちは！テクノロジー本部基盤開発ユニット改善推進グループ所属の王です。 基盤開発ユニットは常にLIFULLの各種サービスが依存する基盤システムの構築と改善のために、いろいろな取り組みをしています。 www.lifull.blog www.lifull.blog www.lifull.blog 今回は技術負債の解消の一つである、DB移行プロジェクトの詳細について紹介します。 DB移行プロジェクトとは？ 現在LIFULL HOME'Sの各種サービスが依存している中心的なデータベースをOracle DatabaseからPostgreSQLに置き換えることを推進しているプロジェクトです。 背景の詳細は省略しますが、現状のDB運用体制を続けると会社の事業発展のボトルネックとなることが予想されているので、運用コストの削減、開発効率およびパフォーマンス改善の面から移行の必要が出てきています。 プロジ

こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC

AWS Summit Tokyo 2019 登壇資料 2019年6月13日（木）14:00-14:40 コンテナ移行ってこんなに大変？ ～「家族アルバム みてね」を支えるインフラの裏側～ ※本資料の公開に関してはAWS確認済

高品質かつ低コストなインフラをオンプレで運用するDeNAが、クラウドへの全面移行を決めたのは2018年6月のこと。 3カ年計画で進む、全社的なクラウド移行プロジェクト。 準備の年である2018年度から実行の年である2019年度へ向かう今、全社のインフラを担当するIT基盤部のリーダー2名が、クラウド移行プロジェクトの進捗と展望について語り合いました。 その2人とは、エンタメ系サービスおよびヘルスケア系サービスのクラウド化を推進する髙橋祐真(たかはし ゆうま)と、先行してクラウドで運用されている全世界向けサービスの運用・改善をリードする土屋圭 (つちや けい)。 プロジェクトのスケールと難易度は？ そして2人のインフラエンジニアとしての矜持とは？ ※この記事はモノづくり対談VOL.2『オンプレミスに強みをもつDeNAはなぜクラウド化を決めたのか？ その舞台裏と今後の展望』の続編です。 株式会社

つらくないマルチテナンシーを求めて: 全て見せます！ SmartHR データベース移行プロジェクトの裏側 / builderscon 2018

2016年1月、Oracle Databaseのライセンス体系が変更され、最も安価だった中小規模システム向けの「Oracle Database Standard Edition One（以下、SE1）」が廃止。従来の「Oracle Database Standard Edition（以下、SE）」の内容を変更した新ライセンスである「Oracle Database Standard Edition 2（SE2）」に一本化されました。 例えば、約70万円だったSE1の最低価格は、SE2では210万円からと高額になります（2016年11月現在、以下同）。また、SEのユーザーとしても、物理サーバ単位の最大搭載CPUソケット数が、SEの4ソケットから、SE2では2ソケットに減ることから、システム環境によっては、より上位で570万円からとなる「Oracle Database Enterprise Ed

こんにちは、最近iphoneのバッテリーを交換したりしています、開発部でインフラを担当しているShimadaと申します。 今回は、Linuxを使ったシステムではとても便利なcrontabの使用をやめたお話をしたいと思います。 経緯 サーバの再起動が出来ない PIXTAでは、サービスをAWS上で運用しています。 AWSでは、半年に一度OSの新バージョンがリリースされます。 セキュリティ対応や新しい機能の追加などOSはできるだけ新しいものにしておきたいものです。 OSの更新を行うと再起動が必要になりますが、バッチサーバのcrontabのスケジュールを確認するとサーバの再起動が不可能に近いものでした。 課題 Linuxを使ったシステムでは標準で使用できるcrontabは、定期処理を実行したい時にはとても便利な機能ですが以下の様な問題があります。 冗長化が出来ない（cronieで可能なようです）

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

仕事柄、大規模なデータ移行を何度か経験してきました。 データ移行、特にDBのマイグレーションでもなく、 システム移行のときのようなデータ構造の変更を伴う際には気をつけることがたくさんあります。 クラウドではだいぶ楽になりますが、 特にオンプレミスで検討せざるを得ない皆さんに気をつけないといけない点を共有します。 スケジューリング編 最初から検討し始めよう 開発プロジェクトにおいてシステム移行だけで4割の工数がかかると言われています。 しかし、新規システム部分の開発で頭が一杯になっていると、重要度の割に移行部分が後回しにされがちです。 移行用プログラム、移行用サーバ手配はもちろん、新規、既存システムへの影響も検討しないといけません。 できればプロジェクト開始時から人をアサインして計画を立てていきましょう。 移行自体が一つの開発プロジェクト相当です。頑張りましょう。 後半になって移行計画を立て

2016 - 12 - 05 秘技！無停止ドメイン移行芸 AWS 移行 ドメイン この記事は CyberAgent Developers Advent Calendar 2016 の5日目の記事です。 www.adventar.org 4日目はyodareさんの 産まれたてのAbemaTVは、ユーザにどう受け入れられていたか？：Twitterデータを用いた分析 でした。 ちなみに弊社のAdvent Calendarは3年連続の参戦。過去2回の記事はこちら。 2015年: WebアプリをDocker構成にした場合にフロントエンドリソースを扱うためのデザインパターン 2014年: 開発効率化への道は一日にしてならず ドメイン 変更とは ドメイン 変更・・・。それはWeb上で事業を生業とする者にとっては、 時にはどうあがいても抗うことの出来ない哀しみの案件 である。 FRESH! の悲哀 1/2