こんにちは！LayerXの高際 (@shun_tak) です！過去にはOCR関連の記事を書きました！ LayerX インボイスのアプリケーション・サーバーはAmazon ECS と AWS Fargateで動作しています。今回の記事ではそのコスト最適化手法について解説したいと思います。よろしくお願いします！ tech.layerx.co.jp サマリーとしては、LayerX インボイスではオーソドックスに費用の削減とタスク数の最適化という2つの方法でコスト最適化を行っています。 Savings PlansとFargate Spotを活用した費用の削減 Auto ScalingとScheduled scalingによるタスク数の最適化 早速次節から解説していきます！ Savings Plansを活用した費用の削減 Fargateは使った分だけ料金が請求されます（vCPU数×メモリサイズ×起動

Amazon ECS でのコンテナデプロイの高速化 この記事は同僚の Nathan Peck (@nathanpeck)が書いた記事 “Speeding up Amazon ECS container deployments” を翻訳し、加筆・修正したものです. 元記事を ECS ユーザに紹介する機会が何回かあったので、せっかくなので翻訳することにしました. コンテナのオーケストレーションは非常に複雑な問題の一つです. アプリケーションコンテナのデプロイのために、相互にやり取りを行う複数の異なるコンポーネントが存在します. あなたのアプリケーションを実行したオーケストレータは、その実行されたアプリケーションが Web トラフィックを受け取る用意ができているかどうかについて判断する必要があります. その後そのアプリケーションはスケールダウンされたり、あるいは新しいバージョンのアプリケーション

Find your best for ECS/Fargate 🙌 Talked at "AWS Dev Day Online Japan" 2020.

Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5

「AWS環境のセキュリティが不安だ…」そんな方にはセキュリティチェック！AWSでは定量的にチェックすることができる機能があります。いくつかあるので長短などを説明しつつ私が思う最強のセキュリティチェックを伝授します！ こんにちは、臼田です。 みなさん、AWS環境のセキュリティチェックしてますか？(挨拶 全国のAWSのセキュリティについて悩んでいるみなさまのために、今回は僕の考える最強のAWS環境セキュリティチェックについて情報をまとめ・伝授します。 初心者向けに、比較的AWSの経験が浅くても始めやすいように、かつ上級者が応用するために活用できる情報もぜんぶまとめていきます。 この記事は2020年の決定版となるでしょう！(それ　いいすぎ。 ながーくなってしまったので最初は適宜飛ばして読むといいかもしれません。 AWS環境のセキュリティチェックの意義 AWS環境でセキュリティチェックをすることは

こんにちは、技術部SRグループの菅原です。 最近、Ninja650からNinja1000に乗り換えました。パワーがあるせいで３速発進・４速発進が平気でできてしまい、シフトワークがどんどん下手になっています。精進したいものです。 この記事では、Amazon RDS/Auroraをクローンするシステムを作った話を書きます。 Amazon RDS/Auroraをクローンするシステム サービス開発を行っていると、調査や検証でプロダクション環境で使われているデータベースが必要になることがあります。開発環境やステージング環境にもデータベースは存在するのですが、プロダクション環境のデータでしか再現しないバグの調査や、プロダクション環境のデータ量でのスキーマ変更の負荷の検証など、開発環境やステージング環境のデータベースではできない作業も多いです。しかし、オペレーションミスや個人情報へのアクセスを考えると、

昨年(2019年)のre:Inventでプレビュー版として発表されたAmazon Fraud Detectorが本日から晴れて一般利用できるようになりました！！ 概要は上記のブログに書かれていますが簡単に説明すると、オンラインのカード不正利用や偽アカウントなどの詐欺行為を機械学習モデルを使って検出できるマネージドサービスです。 早速試してみたいと思います！ 試してみた なお、東京リージョンではまだ使えないので今日はバージニアリージョンで試します。 不正を評価するイベントを定義 履歴イベントデータセットをAmazon S3にアップロードし、不正検出モデルタイプを選択 履歴データを使用してカスタムモデルを構築する。 アルゴリズムを選択し、モデルをトレーニングして調整、モデルをホストする モデルの予測に基づいて、情報の受け入れ、確認、または収集するためのルールを作成 Amazon Fraud D

Amazonの検索結果を占領する中国製品対策を考えた（iOS、macOS、Android、Windows対応） 近年、Amazonの検索結果は中国製の製品に埋め尽くされ、中国製以外の製品を見つけ出すのが困難なほどになってしまいました。 筆者はAliExpressが大好きで、中国製の製品が決して嫌いなわけではないのですが、中国製の製品以外から選ぼうとしてもそれが困難なのは困ります。 まだ中国製品でも日本国内の在庫であればAmazonから買う意義はあるのですが、「2〜3日で出荷」という表記の中国本土からの発送のものが多く、やはり検索ノイズとしか思えないというのが実情です。 こういうものは中国での発送完了までが2〜3日の間という意味であって、そこから日本までの到着にかかる時間は全く読めません。何回か買ってみたところでは、2〜3週間というのが相場のようです。 ホントこれだったらAliExpress

AWS Startup ブログ スタートアップのためのコンテナ入門 – Kubernetes 編 こんにちは、スタートアップ ソリューションアーキテクトの松田 (@mats16k) です。 「スタートアップのためのコンテナ入門 – 導入編」「スタートアップためのコンテナ入門 – AWS Fargate 編」という記事を公開してきましたが、Kubernetes に興味があるスタートアップも多いのではないでしょうか。今回は Kubernetes にフォーカスしてお話しします。 なお Kubernetes 以前に、「そろそろコンテナやった方がいいか？」「なんとなく使い始めたけれどこれでいいのか？」「コンテナ自体は分かったけど、サービスでの利用に踏み切れていない」といった漠然とした課題感をお持ちの方は「スタートアップのためのコンテナ入門 – 導入編」から目を通して頂ければと思います。 目次 Kub

Amazon Dash Buttonについて、人と話す機会が何度かあったので、 いかにAmazon Dash Buttonがヤバイかを毎度説明するのだが、 「あんな電池が一年で切れるデバイスは使えない」 「商品がドラッグストアよりも高いのに買うやつはいない」 といった的外れな答えが割と帰ってきて、もんにょりすることが多いので、私が思うヤバさを解説してみようと思う。 エンジニアリング的なヤバさ Amazon Dash Buttonは、どう考えてもビジネスモデルから逆算してハードウェアを設計しているので、ハードウェアから設計して、ビジネスモデルを作ろうとしている連中は絶対に勝てない。 ビジネスモデルによってハードウェアに対する要求は大幅に変わる。 IoTデバイスはコスト、大きさの面でリソースが限られているため、限られたリソースをどこに割り振るかで、要求を満たせるかどうかが決まる。 Amazon

TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon Aurora Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適

Amazon Web Services ブログ AWS Glue – 一般提供開始 本日、AWS Glue の一般提供開始がアナウンスされました。Glue はフルマネージドでサーバレス、そして、クラウド最適化された ETL(extract, transform, load) サービスです。Glue は他の ETL サービスやプラットフォームと、いくつかのとても重要な点で違いがあります。第1に、Glue はサーバレスです — リソースのプロビジョニングや管理を行う必要はありません。ジョブ、もしくは、クローリングを実行している間に Glue が使用したリソースに対する支払いのみで利用可能です(分単位課金) 。第2に、Glue のクローラです。 Glue のクローラは、複数のデータソース、データタイプ、そして、様々な種類のパーティションを跨いで、スキーマを自動的に検出・推測することができます。ク

科学トピック(300) エネルギー・環境２(438) エネルギー・環境１(299) 太陽光発電・風力(158) 安全・事故(247) 地震・自然災害(442) 震災(東北・熊本)(317) 放射線・原発(205) 自動車・交通(518) 医学・薬学(230) 感染症・コロナ(748) 健康・寒暖対策(187) 生物・進化(283) 生命とは何か(78) 物理・天文(163) コンピュータ_04(495) コンピュータ_03(299) コンピュータ_02(296) コンピュータ_01(297) 文字規格(88) 一般（雑学）６(1189) 一般（雑学）５(300) 一般（雑学）４(299) 一般（雑学）３(297) 一般（雑学）２(299) 一般（雑学）１(297) 戦争・軍備(361) 東京五輪・万博(153) 将棋(59) STAP細胞(146) ごみ箱(293) ◆ 連立政権の構想（２