AWS Open Source Blog Dashboards as code: A new approach to visualizing AWS APIs You manage your infrastructure with code, why not manage your dashboards the same way? With Steampipe’s dashboards-as-code approach you write HCL to define dashboard widgets, and you write SQL to fill them with data extracted from APIs. Here are some common questions about your AWS resources: How many resources do I ha

ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現在、以下のサービスを用いてデータを取り扱っています。 DynamoDB サービスのデータ管理として利用 Athena SQLを用いたデータ分析に利用 QuickSight AthenaをデータソースとしたBIツールとして利用 今回、QuickSightで実行しているデータ分析のような機能を法人ユーザーにも提供することになりました。 要件は以下です 前日までの分析データのためデータの更新は1日1回でよい Readは大量かつ高速であることが求められる グ

この記事は JPOUG Advent Calendar 2021 - Adventar 17日目の記事です。 昨日はShinodaさんの「Oracle Database から PostgreSQL への接続を試す - Qiita」でしたね。 いやーOracle Database Gateway for ODBC全然使ったことがなかったので、これはぜひやってみよ…あれ、RDSでできるの？明日AWSサポートに早速連絡してみよう… 最近ブログを書く頻度がアドベントカレンダー以外書く頻度がない感じになってきております…コレハ、マズイ、ゾ！！笑 さて弱気な内容はおいておいて…ここ最近、ろくに活動もできなかったのはこれをやっていたからなのです。 そうよくある、(꜆꜄•ω•)꜆꜄꜆オンプレOracleからRDSに移行した話。 今更感あるのですが、私と同じミスを減らすきっかけになれば。と思い、書いてみます

｜DMM inside

この記事はクラスメソッド Google Cloud Advent Calendar 2021の9日目の記事です。 Google Cloud自体ナンもわからないマンが、以前から気になっていたCloud Runをあれこれ動かしながら学んでみた様子をお届けします。もともとAWSのApp Runnerがお気に入りのサービスだったので、それとの機能上の違いも入れています。 （祭） ∧ ∧ Y　 ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉     Cloud Run祭りﾀﾞﾜｯｼｮｲ |_|＿| し'´Ｊ 注意事項：この記事には両者のサービスの優劣をつける意図は全くありません そもそも、違うプラットフォームに存在するサービスを単独で機能比較して優劣がはっきり出るほど、パブリッククラウドは単純なものではありません。AWSもGoogle Cloudもサービス単体で利用するよりは、そのエコシステムの中でビルディング

Amazon Web Services（AWS）は、インメモリBIツールの「Amazon QuickSight」の新機能として、自然言語で問い合わせができる「Amazon QuickSight Q」を正式リリースしたと発表しました。 Amazon QuickSight Qのベースとなっている「Amazon QuickSight」は、さまざまなデータソースに接続することで、データの分析とビジュアル化を行うBIツールです。 Amazon RDSのデータベースやAmazon Aurora、Amazon Redshift、HadoopのAmazon EMR、Amazon S3内のフラットファイル、MySQL、Oracle、SQL Server、PostgreSQLをはじめとして、オンプレミスのデータソースやSalesforce.comなどの外部データソースを含む、さまざまなデータソースに対応します

Redshift で timestamp というカラム名を持つテーブルを SELECT しようとしてハマったので簡単にまとめておく．事象を簡潔に書くと，SELECT で timestamp の後に他のカラムを指定するとシンタックスエラーになるというもの． 結論から言えば，Redshift でも PostgreSQL でも timestamp は予約語ではないんだけど，データ型名ではあるので，SELECT するときは必ず引用符で囲ってあげる必要があって，考慮が面倒なのでカラム名にしない方が良いよねっていう話．ただし，動作確認をしてみたところ，Redshift では再現して，PostgreSQL では再現しなかったので，もしかしたら Redshift だけの制約なのかもしれないけど，代替のカラム名が用意できるならその方が良いと思う． マニュアル (PostgreSQL: Documentati

AWS、SQL文で機械学習のモデル作成、トレーニング、推測まで実行できる「Amazon Redshift ML」正式リリース Amazon Web Servicesは、データウェアハウス機能などを提供するAmazon Redshiftの新機能として、SQL文を記述することで機械学習のトレーニングから推測まで実行できる「Amazon Redshift ML」の正式リリースを発表しました。 一般に、機械学習のモデルを作成し、トレーニングを行い、それを基に推論を行うには、機械学習のために用意されたサービスの使い方を覚え、学習データをローディングするといった操作が必要です。 AWSにも機械学習のためのサービスとして「Amazon Sagemaker」があり、データの準備やラベル付け、特徴抽出、モデル作成や選択、トレーニングなどのさまざまな機能を利用可能です。 例えばデータウェアハウスに格納されたデ

はじめに CX事業本部の佐藤智樹です。 先日DynamoDBについて以下の発表がありました。 え！？DynamoDBでSQL使えるようになるの？何がどこまでできるのか気になったのでドキュメントを参照しながら試してみたいと思います。 正確にはSQL互換のクエリ言語のPartiQLを使いますが、本稿ではSQLと呼称して記述していきます。 DynamoDB+PartiQLの操作についてはこちらのブログでも確認できます。こちらはAWS CLIを使用した操作について書かれています。 ドキュメント ドキュメントは以下から確認できます。 アクセス方法は現状以下の3パターンあるようです。 DynamoDBのWebコンソール(新バージョンのみ) AWS CLI AWS SDK(Java) 今回はWebコンソールで操作を試してみます。 CRUD操作してみた WebコンソールからSQLを実行します。まず最近でた

Amazon Timestreamを使ってみたという話．Amazon Timestreamは昨日 (2020-10-01) にGAになったTime Series DB．

CX事業本部＠大阪の岩田です。 社内で需要がありそうだったので、RDS Proxyの基本動作について簡単にまとめてみました。クライアントからの最大同時接続数を1に設定したRDSに対してRDS Proxyを構成し、クライアントアプリケーションに見立てたEC2からいくつかのパターンで接続を試行した結果をまとめています。 環境 今回検証に利用した環境です。 RDS for PostgreSQL 11.8-R1 インスタンスクラス db.t3.micro max_connections: 9 バックグラウンドでrdsadminユーザー、rdsproxyadminユーザーがDBに接続するのを考慮して9に設定しています。今回の環境であればmax_connectionsを9に設定することで非マスターユーザーからの同時接続数を1に制限することができます。 RDS Proxy エンジンの互換性: Postg

AWSチームのすずきです。 SQL レベルのメトリクス をサポートを開始したパフォーマンスインサイト(Performance Insights)を利用して、 高負荷状態に陥った Amazon Aurora Provisioned (MySQL5.6互換) の稼働状況を確認する機会がありましたので紹介させていただきます。 環境 過負荷が発生した環境は、 CMS(WordPress)の 記事データベースとして利用している Aurora でした。 Performance Insights SQL情報 SQLの情報として、下記項目が表示されるようになりました。 calls/sec : 毎秒ごとの呼び出し avg latency (ms)/call : 平均レイテンシー rows examined/call : 一度の呼び出しで返される行数 一回の処理時間は短いが実行回数が多く、チリも積もって高い負

［速報］マイクロソフト、「Azure Arc」発表。マルチクラウド基盤としてAWSやオンプレミスへもAzure DBをデプロイ可能、サーバやクラスタも統合管理。Ignite 2019 米フロリダ州オーランドで11月4日（日本時間11月5日未明）、マイクロソフトのイベント「Microsoft Ignite 2019」が開幕しました。 基調講演で同社CEOのサティア・ナデラ氏は、Microsoft Azureを中心とするマルチクラウドプラットフォーム「Azure Arc」を発表しました。 Azure Arcはおもに以下の3つの機能を提供することで、Azureと同じ体験をマルチクラウド環境においても提供すると説明されています。 Azure SQL DatabaseおよびAzure Database for PostgreSQL Hyperscale（シャーディングによるスケールアウト機能）をAW

AWSのデータストアやフォーマットに依存しない問い合わせが可能に。オープンソースとして公開されたSQL互換クエリ言語「PartiQL」を触ってみた 先日、SQL互換の新しい問い合わせ言語およびそのリファレンス実装となる「PartiQL」がオープンソースとして公開されました。 Announcing PartiQL, one query language for your relational and non-relational data: https://t.co/ykrFrrOFEO pic.twitter.com/VN2FLJkvqN — AWS Open Source (@AWSOpen) August 1, 2019 PartiQLの概要及び技術的な仕組みの詳細解説は下記エントリ群を参照頂くとして、 公式サイトにてPartiQLのチュートリアルが公開・展開されていますので、当エント

Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in

はじめに こちら の AWS サービス一覧をもとに各クラウドで対応するサービスを記載しています AWS では提供されていないが、Azure/Google Cloud では提供されているサービスが漏れている場合があります 主観が含まれたり、サービス内容が厳密に一致していない場合もあると思いますが、ご容赦ください 物理的なデバイスや SDK などのツール群は記載していません Analytics AWS Azure GCP

こんにちは。池田です。今までにもリザーブドインスタンス（RI）に関する記事をいくつか書いていますが、新年度が近づいていることもあるためか各方面から RI に関する質問や相談をいただくことが増えてきています。 そこで今回は今までに書いた内容も含めますが、2019年3月時点での最新情報を踏まえて RI に関する基本的かつ大切な事項をご紹介したいと思います。 ＊ 3/14 池田ならこう買うと思いますを追記しました。 もくじ そもそも RI とは何？ - RI 全般の基礎知識 - EC2 RI について RDS RI について Redshift RI について ElastiCache RI について DynamoDB RI について Elasticsearch Service RI について RI の料金を調べる方法 損益分岐点の計算について 購入時のエラーについて 池田ならこう買うと思います お

こんにちは、メディア事業本部のエンジニアの@__timakin__ です。 僕が好きなGo言語は、先日バージョン1.11のリリースパーティも開かれ、wasmサポートやModules機能など、結構目新しさのある機能が足されることになりました。 で、その最新のGo界隈の話題の機能の一つとして、「Go Cloud」というものがあります。 github.com 先日のリリースパーティでも、@ymotongpooさんによってGo Cloudが紹介されていました。 docs.google.com Public Keyさんでもちょうど本日記事が公開されていました。 www.publickey1.jp Go公式のブログ告知にもあるとおり、Goのエコシステムがより良くなる過程で、多くの企業・機関で課題となった「マルチ（ハイブリッド）クラウド」へのデプロイという、ポータビリティの実現のためのAPIを提供するパ

一休.comではオンプレミスで動かしていたサーバー群をAWSに移行する作業を2016年末から2年がかりで進めてきました（以下、クラウド移行と呼びます）。2017年7月にまず全サービスのアプリケーションサーバー移行が完了、2018年2月にデータベースであるSQL Serverの移行が終わり、クラウド移行が完了しました。 一休のシステムは予約や決済などのミッションクリティカルな基幹業務を担ってるため、大規模なシステム移行は難易度が高い仕事でした。また、一休のサービスは予約を取り扱うECの一種であるため、トランザクション機能をはじめとする、DBに対する品質要求水準や機能要件も比較的厳しい環境です。 本記事ではこのクラウド移行の中でも特に難易度が高いDBの移行を牽引したkudoyに、移行計画の設計や勘所についてインタビューします。 インタビュイー kudoy デジタルマーケティング部エンジニア（写