はじめに TROCCO では ETL ジョブや、dbt 連携、ワークフローなど、様々なジョブで実行ログをリアルタイムで見ることができます。 これによりエラー時のトラブルシュートをスムーズに行うことができます。 そして、この実行ログですが、DB にあるジョブのレコードの1カラムに書き込まれていました。 このように TROCCO の実行ログの表示機能は、データベースのアンチパターンの上に成り立っています。 ログデータは TEXT 型で DB に保存されているためサイズが大きく、また TROCCO の成長に応じてジョブ数は増えるため、ログデータもサービスの成長とともに無限に成長してしまいます。 おかげさまでアカウント数は増加の一方であり、それに伴い DDL が遅くなったり、また SELECT のパフォーマンスも当然落ちるため、INDEX に気をつけたりする必要がありました。 SRE ではこれに課

［速報］古いJavaや.NETのコードを最新のJavaにAIが自動変換する「Amazon Q Code Transformation」、AWSが発表。AWS re:Invent 2023 Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、生成AIを用いて多様なAIサービスを提供する「Amazon Q」を発表。Amazon Qの機能の一部として、古いJavaや.NETのコードを最新のJavaや.NET対応に自動変換する「Amazon Q Code Transformation」を合わせて発表しました。 参考：［速報］AWS、Copilot対抗となる「Amazon Q」発表。生成AIによるシステム開発支援や業務支援など、多様なAIサービスを提供。AWS re:Invent 2023 Amazon Q Code

ChatGPTの登場から1年が過ぎようとするなか、生成AI（人工知能）の主戦場はモデルそのものの優劣から、企業が実際のアプリケーションにAIをどう組み込むかという段階に移りつつある。企業が自前の生成AIを利用する鍵となるのが、クラウド大手が提供するAI開発プラットフォームだ。足元の業績では米Microsoft（マイクロソフト）が一歩リード。米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）と米Google（グーグル）はどう巻き返すのか。決算から各社の競争力を分析する。 「AIによって3ポイントの増収効果があった」。米国時間2023年10月24日にマイクロソフトが開いた2023年7～9月期決算の説明会で、同社のエイミー・フッドCFO（最高財務責任者）はクラウド基盤「Azure」の好調さがAIに支えられていると分析した。早くもクラウドにおいて生成AIが収益化の段階に

2025年度末までに全国1741地方自治体の業務システムを標準準拠システムに移行させる「自治体システム標準化」。デジタル庁が整備するパブリッククラウド基盤である「ガバメントクラウド」を活用することで、システム運用コストが移行前の2～4倍に跳ね上がる試算や見積もりが複数の自治体で出ている。 アプリケーションをクラウドネイティブに変えるなどの最適化を行えば、ガバメントクラウドを利用することでコスト削減になると、これまでデジタル庁は説明してきた。だが、試算や見積もりからは、クラウド利用料のほかネットワーク費用、システム利用料、保守運用費などの費用がかさみ、クラウドネイティブ化しても移行前よりもコスト高になる可能性がある。国は標準準拠システム移行によって移行前から運用コストを3割削減するとしている。ガバメントクラウド利用に伴う移行後の運用コスト増の対策を迫られそうだ。 AWS利用でインフラコストが

たぬき( @tanuki_tzp )です。 突然ですが、AWSからこんな通知を受け取った人はいませんか？ Amazon マシンイメージブロックパブリックアクセス (AMI BPA) は、2023 年 10 月 16 日からすべての AWS リージョンでデフォルトで有効になることをお知らせします。 こちらについて、Amazonマシンイメージブロックパブリックアクセスとはなんなのか、どんな内容の設定変更があるのか等をお知らせしていきたいと思います。 Amazonマシンイメージブロックパブリックアクセス(AMI BPA)とは AMIのパブリックアクセスとは Amazonマシンイメージ(AMI)とは、AWS上でインスタンスを起動する際に使用する、仮想マシンのテンプレートです。 AMIはEC2等の起動時に必ず選択する必要があり、一度は目にしたことがあるのではないでしょうか？ AMIは、不特定多数のユ

SIerの日本ナレッジスペース（東京都港区）は10月2日、社員への福利厚生として「AWS費用補助制度」を始めたと発表した。エンジニアのスキルアップを目的に、プライベートでAWSを使うときの利用料を補助するという。 上期（4月～9月）と下期（10月～3月）にそれぞれ最大1万円ずつ、合計で年に2万円まで補助する。同社はこれまで、動画や書籍での学習制度・資格取得の奨励制度などを設けていたものの、得た知識を実践・定着させる場が不足していると感じていたという。そこで今回の補助制度を設け、クラウドに関するスキルの定着を促進するとしている。 関連記事 AWS、日本のスタートアップに最大1150万円相当のクレジット付与　ヘルスケアや宇宙事業など求む AWSジャパンが、条件を満たす日本のスタートアップ企業を対象に、AWSの利用料などを支援する取り組みを開始。ヘルスケアや宇宙事業などを手掛ける企業に、最大10

欧米には遅れているものの、日本企業のクラウドシフトは進み始めている――。IT大手は日本市場の動向をこう読む。「Amazon Web Services（AWS）」や「Microsoft Azure」「Google Cloud」のようなメガクラウドベンダーだけではない。日本IBMやSAPジャパンのようにオンプレミスのソフトウエア販売からクラウドへとビジネスの主力を変えつつある企業も同様だ。 クラウド移行の一般的なプロセスである「リフト・アンド・シフト」のうち、オンプレミスで設置したサーバーをクラウドに移行する「リフト」は多くの企業で実施済み。クラウドならではの特性を生かしてシステムを再構築する「シフト」に向かう企業が増えている。クラウドベンダーに共通する見解だ ところがクラウドサービスのユーザー企業への導入を支援するパートナー企業、つまりITベンダーの見方は異なる。 「実際にはリフトに取り組む

こんにちは！LayerXバクラク事業部 OCRチーム ソフトウェアエンジニアの秋野（@akino_1027）です。 この記事では、バクラクシリーズの機能であるOCRのテスト基盤について紹介していきます。 ※本記事は LayerX Tech Advent Calendar 2022 11日目の記事となります。 背景 バクラクでは手入力ゼロを目指すべく、 OCR機能（文書の読み取り機能）を提供しています。 以下、OCRで書類が読み取られる様子 www.youtube.com OCR機能は「手入力不要」という価値に直結するため、OCR精度を常に高い水準で保っておく必要があります。 安心してコード変更を取り込めるように 今まで読み取れてたのに読み取れなくなった書類はないか 新たに読み取れるようになった書類はどれか を確認する仕組みが必要でした。 OCRテスト基盤の開発 そこでOCR精度を担保するた

AWS 事業本部コンサルティング部のイシザワです。 今回は OSS の AWS CloudSaga を使って疑似インシデントを起こしてみようと思います。 （追記）アイキャッチを変更しました。 CloudSaga とは CloudSaga とは AWS 環境で疑似的にセキュリティイベントを発生させるツールです。 ユースケースとして、自分の AWS 環境でセキュリティイベントを検知するための仕組みや調査するための仕組みがあるかをテストすることが挙げられます。 やってみた まず、マネジメントコンソールから AWS CloudShell を起動します。 以下のコマンドで CloudSaga をインストールします。 $ pip3 install cloudsaga インストールが完了したら、以下のコマンドで現在利用可能なセキュリティイベントのシナリオを一覧できます。 $ cloudsaga --ch

はじめに この記事ではtypescriptでちょっとしたコマンドラインツールを作った時に使ったyargsが便利だったので紹介したいと思います。 yargsとは yargsはコマンドライン引数（コマンドや引数、オプション）をパースし、ヘルプメッセージなどを生成するライブラリです。 環境 今回使った環境は以下の通りです。 tsc: Version 1.5.3 node: v12.9.1 インストール npm install -S yargs npm install -D @types/yargs 基本的な使い方 yargsではいくつかの種類のコマンドライン引数をパースできます。順に使い方を見ていきます。 コマンド コマンドはawscliのように引数として実行する処理内容などを指定するために用いられます。 awscliの引数は以下のようになっていて、例えば aws s3 ls s3://buck

各サービスに加え、サポート費用、消費税諸々含め300万以上の課金が発生しました。 幸い今回の事象はラックの検証環境上で発生した事象のため、お客様への影響はなかったものの、これが「もしお客様環境で起きていたら......」と考えると背筋が凍ります。 事象の原因 今回上記(A)(B)の仕組みを定期的に実行する想定で各々EventBridgeルールの設定をしましたが、(B)のEventBridgeルールの設定に考慮漏れがありました。 具体的には、以下のように記載をしていました。 EventBridgeルールの作成時、イベントパターンのフォームから生成したJSONとなります。 ※ S3にオブジェクトが配置されたら後続処理を実施するというテンプレートを使用しました。 テンプレートの内容を深く理解せず、そのまま流用したことが本事象の発端となっていました。 ※ ただ、EventBridgeでは、ルールが

AWS（Amazon Web Services）の勢力拡大が新たな段階に入ってきた。これまでの企業ユーザーに加え、本来ライバルであるはずのITベンダーが相次いで採用を決めているのだ。IBMは2022年5月にAWSとの戦略的協業契約の締結を発表。「IBM Db2」や「IBM Watson Orchestrate」といった同社のソフトウエアをAWS上でSaaSとして提供していく。 同じく5月、富士通もAWSとの戦略的協業に合意。同社の金融ソリューション「Finplex」や小売業界向けDX支援サービス「Brainforce」などを中核に、AWS上でマネージドサービスを開発し、提供する計画である。 企業ユーザーのみならず、官公庁やITベンダーにも人気上昇中のAWS。さすがにクラウドサービスのデファクトスタンダードの地位を得たと言ってよいだろう。 一般にデファクトは市場における「事実上の標準」を指す

はじめに こんにちは、株式会社Flatt Security セキュリティエンジニアの森岡(@scgajge12)です。 本稿では、AWS Lambda で起こりうる脆弱性攻撃やリスク、セキュリティ対策を解説し、サーバーレスにおけるセキュリティリスクについて紹介します。 はじめに AWS Lambda について サーバーレスにおけるセキュリティリスク AWS Lambda で起こりうる脆弱性攻撃 Lambda での脆弱性攻撃によるリスク 脆弱性攻撃による更なるリスク OS Command Injection XML External Entity (XXE) Insecure Deserialization Server Side Request Forgery (SSRF) Remote Code Execution (RCE) AWS Lambda におけるセキュリティ対策 セキュリティ

2021年、企業が無償公開した新人エンジニア向け研修資料　機械学習やゲーム開発、AWS入門、数学などさまざま（1/2 ページ） 2021年、さまざまな企業が自社の社内研修資料を無償公開したことが話題になった。ITmedia NEWSでは主に、新人エンジニア向けに公開した資料などを記事として取り上げたところ、多くの反響が集まった。 学べる内容は、機械学習やIT業界の文化、ゲーム開発、セキュリティ、AWS入門、数学など各社さまざま。100ページ以上のスライドや5時間を超える動画などの資料もあり、新人教育への力の入れ具合も垣間見える。改めて、2021年に企業が無償公開した、社内研修資料を取り上げた記事を紹介する。 セガ、3DCG技術の基礎に役立つ数学資料 セガは6月15日に、2020年に社内勉強会で使った線形代数の教材を公式ブログで公開した。ゲーム制作では、キャラクターや背景を3次元で回転させた

Java 17のリリースに合わせて、Amazon Web Services（AWS）からもOpenJDKをベースにしたJavaディストリビューション「Amazon Corretto 17」がリリースされました。 半年ごとにメジャーバージョンアップするJavaのなかで、Java 17は3年に一度登場するLTS（Long Term Support）版と呼ばれる、長期サポート対象のバージョンとなります。 AWSは過去のLTS版Javaについては長期サポート期間を明示しています。例えば、Java 8に相当する「Amazon Corretto 8」は2026年5月まで、Java 11に相当する「Amazon Corretto 11」は2027年9月までにサポート期間が設定され、ユーザーはこの日まで無償でAWSからセキュリティパッチなどを受け取ることができます。 参考：AWS、「Java 8」を202

オラクルは、同社が提供している企業向けのJavaディストリビューションであるOracle JDKのライセンスを変更し、無料で本番環境などでの利用を可能にしました。 同社が9月14日付で公開したブログ「Introducing the Free Java License 」で、次のように説明しています（関連するプレスリリース「Oracle Releases Java 17」）。 Oracle JDKを無料で提供し、四半期ごとのセキュリティアップデートも提供する。 新ライセンス「Oracle No-Fee Terms and Conditions (NFTC)」は、商用利用や本番環境での利用を含むすべてのユーザーに対して無料での利用を許可する。 Oracle JDK 17から、この無料のリリースとアップデートの提供を開始する。これは次の長期サポート（LTS：Long Term Support）が

Amazon Redshift データレイクハウス向けの SQL を使用して、規模に合わせて比類のないコストパフォーマンスを実現 何万ものお客様が Amazon Redshift を大規模にモダンなデータ分析に使用しており、他のクラウドデータウェアハウスよりも最大 3 倍のコストパフォーマンスと 7 倍のスループットを実現しています。Amazon Redshift は Amazon SageMaker Lakehouse とシームレスに統合されているため、その強力な SQL 分析機能を Amazon Redshift データウェアハウスと Amazon Simple Storage Service (Amazon S3) データレイクにわたる統合データに対して使用できます。ストリーミングサービス、運用データベース、サードパーティーのエンタープライズアプリケーションからのデータを接続する A

まえがき開発中のソフトウェアのライセンスを策定するため、現時点でのベストプラクティスについて探っていたところ、ここ数年の OSS ライセンスの動向が面白かったので復習も兼ねてまとめました。 特に、Umbrel が採用したという PolyForm という新しいライセンス形態が面白かったので、これについて詳しく述べます。 なぜ今ライセンスについてまとめるのか私はソフトウェアやサービスをマネタイズする方法について興味があり、特にビットコインの応用について調べたりしています。 ビットコイン (Lightning Network) を HTTP で利用することで、Web API の課金方法の可能性は大きく広がることは間違いないのですが、これはあくまで単なる支払いの手法であって、広く使われる事を前提としたソフトウェアの開発を支える手法にすることは(それだけでは)難しいという問題があります。 ソフトウェ

Waypoint DocumentationLearn and develop your knowledge of Waypoint with these tutorials and code resources.