AWS Storage Blog Access data in Amazon S3 Tables using PyIceberg through the AWS Glue Iceberg REST endpoint Modern data lakes integrate with multiple engines to meet a wide range of analytics needs, from SQL querying to stream processing. A key enabler of this approach is the adoption of Apache Iceberg as the open table format for building transactional data lakes. However, as the Iceberg ecosyste

AWS Big Data Blog Access Apache Iceberg tables in Amazon S3 from Databricks using AWS Glue Iceberg REST Catalog in Amazon SageMaker Lakehouse Amazon SageMaker Lakehouse enables a unified, open, and secure lakehouse platform on your existing data lakes and warehouses. Its unified data architecture supports data analysis, business intelligence, machine learning, and generative AI applications, which

はじめに こんにちは！ナウキャストのデータエンジニアのけびんです。 現在ナウキャストでは dbt-snowflake を利用して Snowflake 上で ELT パイプラインを日々開発しています。基本的には dbt の使い方を把握していれば開発は可能ですが、やはり Snowflake 特有の設定というのも存在します。本ブログでは dbt-snowflake で開発をする際に個人的に重要だと思う以下の設定についてまとめます。 Table - Clustering Table - COPY GRANTS External Table Secure View Table - Clustering Partitioning と Clustering のおさらい 大規模なテーブルにおいて Clustering の設定はパフォーマンスを向上させるために重要です。 Partitioning とは大規模

Tokyo dbt Meetup #8での登壇資料になります。 - https://www.meetup.com/tokyo-dbt-meetup/events/299602585/

初めに モチベーション 私はこれまでドメイン駆動設計で設計されたシステムの開発案件に参画した経験はありますが、1からドメイン駆動設計で設計での設計を行った経験がありませんでした。そのため個人でシステムを開発している際に設計に悩むことがあり、自身で1からドメイン駆動設計ベースの設計ができるようになることを目指して学習を進め、その過程で得た知見をまとめています。 特に以下のような点に焦点を当てています。 ドメイン駆動設計の理論をTypeScriptのコードベースで理解する 既存のドメイン駆動設計システムを理解するだけでなく、新規設計ができるようになるための知識の整理 ドメイン駆動設計(DDD)とは ドメインとは「システムが対象とする業務領域」のことです。 例えば不動産管理システムを例にすると、物件、オーナー、入居者などがドメインとなります。 ドメイン駆動設計の本質は、このような現場の業務知識や

結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit

テクニカルライティングの基本を学べます。業務マニュアル、報告書、仕様書、技術解説書などのドキュメントを書く機会がある方向け。サイボウズの2023年度 新入社員向け研修の資料です。 本資料をもとにした書籍も発売中です：https://amzn.asia/d/2hQNEk2 Twitter：http…

こんにちは。 節約料理研究家のあみん（嶋田あさ美）です。 今回はお値段リーズナブルな鶏むね肉にダブルマヨネーズを使ったがっつり満腹レシピをご紹介します。 こってり濃厚なのでとってもご飯が進みますよ。 鶏むね肉はパサつきやすいと思われがちですがとてもしっとり柔らかな仕上がりになります。 甘酢ダブルマヨチキン 材料　2人分鶏むね肉‥300g 刻みネギ‥適量 【A】 酒‥小さじ2 にんにくチューブ‥3cm マヨネーズ‥大さじ1 塩胡椒‥少々 【B】 酒・砂糖・酢‥大さじ1 醤油‥大さじ2 みりん‥大さじ2 マヨネーズ‥適量(仕上げ用) 片栗粉‥大さじ2 サラダ油大さじ‥1 作り方① 鶏むね肉は縦半分に切って2cm幅の削ぎ切りにし、A（酒‥小さじ2、にんにくチューブ‥3cm、マヨネーズ‥大さじ1、塩胡椒‥少々）と揉み込み、5分ほど置いて片栗粉をまぶす。 ② フライパンにサラダ油と1を入れて中火にか

当サイトは、最高のエクスペリエンスを提供するために、Cookieおよび同様のテクノロジーを使用しています。詳細については、当サイトのプライバシーポリシーを参照してください。

Shizuoka.js #7

こんにちは、後藤です。今回はAWS構成における踏み台についての記事です。 データベースなどのインターネットに繋げたくないリソースに踏み台リソース経由でアクセスさせることは、セキュリティ設計としてよくある構成だと思います。 今回はその踏み台リソースに「ユーザーログイン有無を検知して自動停止する」ロジックを組み込んだ方法を共有します。 また、一般的によく用いられるのはEC2だと思いますが、今回はECS on Fargate(以降はFargateと略)を使います。しかも自動停止ロジックにLambdaを使いません！！コンテナの中で完結させます。 踏み台を設計する時に気になること そもそも踏み台について設計する際に何が気になるのでしょうか。それはOS管理負担と自動停止です。 踏み台にEC2を用いるとOSパッチ適用などの運用コストが発生します。業務系サーバでないのに心労が重なるのはなるべく避けたいとこ

あけましておめでとうございます！ 今年は異世界放浪メシのアニメが放送されるらしいので楽しみなバックエンドの原田 (tomtwinkle)です。 内部で運用しているSQLレビューチェックリストの一部を抽出し思いつきで追記して行った結果、結構な分量になってしまいました。 暇な時でも流し読みして頂けるとありがたいです。 Motivation SQLレビュー観点 大きくSQLが変更される修正の際にはEXPLAINをレビュー内容に加える 検索のキーにINDEXを使用しているか SQL発行回数がN+1(1+N)の構造になっていないか サブクエリを利用したSQLはパフォーマンス要チェック Viewの利用は基本的に禁止 CROSS JOINは禁止 WHERE句で十分に絞った検索をしているか 必要なcolumnだけSELECTしているか レコード数だけ必要な場合にCOUNT用のSQLを発行しているか 集計関

はじめに 「解説記事を幾つも読んだけど OpenID Connect を理解できた気がしない」― この文書は、そういう悩みを抱えたエンジニアの方々に向けた OpenID Connect 解説文書です。概念的・抽象的な話を避け、具体例を用いて OpenID Connect を解説していこうと思います。 この文書では、JWS (RFC 7515)、JWE (RFC 7516)、JWK (RFC 7517)、JWT (RFC 7519)、ID トークンの説明をおこないます。 追記（2020-03-20） この記事の内容を含む、筆者本人による『OAuth & OIDC 入門編』解説動画を公開しました！ 1. 『ID トークン』を発行するための仕様 一般の方々に対しては「OpenID Connect は認証の仕様である」という説明で良いと思います。一方、技術的な理解を渇望しているエンジニアの方々に対

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます アマゾン ウェブ サービス ジャパン（AWS）は10月13日、「金融リファレンスアーキテクチャ 日本版」の提供に関する記者説明会を開催した。なお、同ソリューションは10月3日に正式版の一般公開をGitHubで開始している。 AWSは、2014年からFISC（金融情報システムセンター）の安全対策専門委員会・有識者検討委員会に委員として参画している。2020年9月には、金融機関が情報システムを構築する際の安全対策基準となるガイドライン「FISC安全対策基準」に準拠したシステム構築を支援するため、国内金融機関に対して「AWS FISCリファレンス」をリリースした。 今回提供する金融リファレンスアーキテクチャは、金融に求められるセキュリティや可

TLDR AWSで2022年の1月から9月までのアップデートが多数ありました。私（と、何人かのサポーター）が考えた、この期間内の打破されたアンチパターンを紹介します。32項目ありました！ アンチパターンって何よ？ 「AWSでこうしたい」という思いからAWSを使っていく方は多いはずです。 そのなかで、数多くのAWS使いこなしの工夫が生まれ、成功例が生まれていきました。AWSのサービスとして提供されていないことを工夫でなんとかした、そんな成功例たち。それが「秘伝のタレ」となり、「さわってはいけないもの」、あるいは「ロストテクノロジー」として、封をしたパターンとなっていないでしょうか？ 動作やプロセス、構造について、当初は妥当であったのに、最終的に悪い結果が繰り返されるパターンであり、リファクタリングするための方法が存在するパターンこそがアンチパターンです。サービスアップデートされれば、いままで

はじめに 先日、JakartaOne Live Japan 2022というイベントで登壇させていただく機会を頂きました。 QuarkusやHelidonのような新しめのEEフレームワークがこれまでのPayaraやWebLogicとどう違うのか？ CloudRunのようなサーバレス環境でMicroProfileのどの機能が効果的に働くのか？　という点を最近のWeb開発周りのトレンドと絡めながら話ました。上記のようにアーカイブ動画も公開されていますが、せっかくなのでQuarkusがサーバレス環境で実行に最適化されるまでの周辺事情等をまとめたいと思います。Javaだけに留まらず最近の環境事情の整理にも役立つかと思います。 TL;DR Quarkus/Helidonは軽量で高速な新しいEEフレームワーク コンテナや、サーバレス、クラウドネイティブなど最新のトレンドに基づいた設計 GCPのCloud

カインズやワークマン、ベイシアらを束ねる流通の巨人、ベイシアグループ。2021年2月期に初めて売上高1兆円を突破し、さらなる高みを目指して現在力を注ぐのがDX（デジタルトランスフォーメーション）だ。グループ各社をとがらせる「ハリネズミ経営」を標榜し、DX戦略の舵（かじ）取りを担うプロCDO（最高デジタル責任者）らを相次ぎ招き入れている。業績拡大の裏で虎視眈々（たんたん）と進めてきたDXへの足場作り――。ベイシアグループDXの今に迫った。 流通DXのトップランナー、ベイシアグループの全貌（1）より続く ベイシアグループにおいて最大の売り上げを誇り、DX（デジタルトランスフォーメーション）の筆頭でもあるカインズ。ホームセンター事業を手掛ける同社は、SPA（製造小売り）化やIT小売業への変貌など、時代の流れに合わせてグループの先陣を切って変革を続けてきた。同社会長であり、ベイシアグループ全体の舵