この記事はdbt Advent Calendar 2023の5日目です。 こんにちは、その他事業部SREチーム所属の@mashiikeです。 カヤックは様々な事業・プロジェクトを展開しておりますが、その一つとして『北欧、暮らしの道具店』を運営する株式会社クラシコムとの協業プロジェクトがあります。 www.kayac.com こちらのプロジェクトでは2019年より継続して、クラシコム様のデータ基盤の構築・運用のサポートの一部を行っております。 その中で、troccoのdbt連携機能を用いて、データの変換を実装しております。1 今回の記事は、同プロジェクトの中で行われた一風変わったdbtの活用例の紹介になります。 内容の関係上、予めLookerの用語と概念を知っていると読みやすいと思います。 cloud.google.com 背景 クラシコム様のデータ分析基盤では、ビジネスインテリジェンスにL

こんにちは、普段は分析基盤や分析のお仕事をしている新田です。 この記事では、AirflowでJinjaテンプレートを活用したSQLクエリを動的に生成し、BigQueryでそのクエリを実行する方法をまとめます。 JinjaはPythonのテンプレートエンジンで、HTMLを動的に生成するために使われることが多いですが、SQLでも「大体同じなのに少し違うクエリ」が複数あるようなときに大活躍しますよ。 AirflowでJinjaテンプレートを使う方法AirflowはなんとデフォルトでJinjaテンプレートエンジンをサポートしています。 特に何もしなくてもDAGでJinjaのプレースホルダや変数をタスクのパラメータやクエリ内で直接使用することができます。 また、Operatorに引数を渡すことで渡した引数を埋め込むことができます。 SQLのテンプレートファイルを作成するまずは、SQLファイルを作成し

Web界隈ではaltjsやscssのファイル更新を監視して自動コンパイルするのが一般的になってきていると思いますが。 このエントリでは、そういった方法を真似て、SQLをテンプレートエンジンを利用して書いて、自動的に変換する環境を作ってみることにします。 データ界隈の人はpython使う人が多そうなので、pythonで以下のモジュールを使った環境を作ることにします。 ファイル監視はwatchdog テンプレートエンジンはmako エディタはatomでlanguage-atomプラグインを利用 watchdog: https://pypi.python.org/pypi/watchdog mako: http://www.makotemplates.org/ Mako 1.0.4 Documentation » Syntax: http://docs.makotemplates.org/en/

23/9/21追記：この記事を読む前に ついにGoチームから、プロジェクト構成に関するガイドが公開されました！ 本記事を読んでくださることも大変嬉しいですが、ぜひこちらのガイドもご一読ください！ この記事は何 Go言語を書いたことがある方も、興味はあるけど触ったことがない方もこんにちは。 Goに限った話ではないと思いますが、ガリガリコードを書いていて、あるタイミングで気になるのがプロジェクト構成（ここではディレクトリ構成の意図）ではないでしょうか？ それを裏付けるかのように、Go界隈では以下のリポジトリが話題に上がることがあります。Star数すごいですね😇 リポジトリ名から公式感が漂いますが、そういう訳ではないのがミソです。 こちらのリポジトリ冒頭にも記載されていますが、次の点に留意する必要があるでしょう。 これは、Goアプリケーションプロジェクトの基本的なレイアウトです。これは、コアと

Golangのtemplateファイルでisやnot equal、and条件、or条件の書き方を調べたので備忘録です。 ※ 適宜追加していきます。 is評価 {{ if eq num 1 }} // if num == 1 //　以下同義 {{ if eq ( .num, 1 ) }} not equel評価 {{ if ne .num 1 }} // if num != 1 //以下同義 {{ if ne (.num, 1) }} and 評価 {{ if and (eq .str1 "a") (eq .str2 "b") }} // if str1 == 1 && str2 == b and A B または and (A, B) になります。 or 評価 {{ if or (eq .str1 "a") (eq .str2 "b") }} // if str1 == 1 || str2

はじめに Pytorchでコードを書き始めるとき、乱数固定やデータローダー、モデルの訓練や学習結果の取得等、毎度色々なサイトを参照するのは面倒だと思い、現時点の個人的ベストプラクティス・テンプレートを作成してみました。 今後のバージョンアップや便利なライブラリの登場で変わるかもしれませんげ、現在はこれで落ち着いています。 個人的な備忘録も兼ねて、前半に簡単な解説付きのコードと最後に全コードを載せています。 もっと便利な書き方やライブラリなどあれば、コメントいただけると嬉しいです。 テンプレート（解説付き） 1. ライブラリインポートと初期設定 torchやよく利用するライブラリ(numpy, matplotlib)のインポート モデルの訓練時（for文）の進捗を表示するtqdmライブラリ（jupyter notebookとコマンドライン版） 進捗表示は待ち時間の見積もりやエラーに気づくこと

Yes, I have read the information about data privacy and accept them. One of the coolest facets of Kubernetes is the declarative deployment descriptors. You describe what the system should look like and Kubernetes makes it happen. One of the worst facets of Kubernetes is the declarative deployment descriptors... A typical system constructed of micro-services will consist of dozens of configuration

In A Simple Approach To Templated SQL Queries In Python, I introduced the basics of SQL templates in Python using JinjaSql. This post further demonstrates the power of Jinja2 within JinjaSql templates using presets, loops, and custom functions. Let’s consider an everyday use case when we have a table with some dimensions and some numerical values, and we want to find some metrics for a given dimen

Explore dynamic templates and interactive visuals that bring your own data stories to life

JsonnetというJSONテンプレート言語を紹介する。 後で見るように、これはJSONを生成するための汎用テンプレートというよりはむしろ、計算や依存関係を含む設定を静的に書き下すために便利なのではないかと考えられる。 実際Jsonnetの仕様はGoogleのBCLに似ている。BCLはGoogleでコンテナクラスタシステムBorgの設定を記述するために使われている言語だ。 JSONテンプレート言語 ある意味でJsonnetは毎度おなじみのやつだ。JavaScriptの文法の不便さに対してalt JSが多数出てきた。CSSにおけるネストの分かりづらさやの記述の重複に対してCSS preprocessorが多数出てきた。それと同じようにして、Webにおける機械可読データのLingua FrancaたるJSONを記述するのが不便なのでJSONテンプレートが出てきた。 Jsonnetはその中の1つ

Flask is a very popular web application framework that leaves almost all design and architecture decisions up to the developer. In this tutorial, you’ll learn how a Flask Blueprint, or Blueprint for short, can help you structure your Flask application by grouping its functionality into reusable components. In this tutorial, you’ll learn: What Flask Blueprints are and how they work How to create an

postmortem.md Shakespeare Sonnet++ Postmortem (incident #465) Date 2015-10-21 Authors jennifer martym agoogler Status Complete, action items in progress Summary Shakespeare Search down for 66 minutes during period of very high interest in Shakespeare due to discovery of a new sonnet. Impact Estimated 1.21B queries lost, no revenue impact. Root Causes Cascading failure due to combination of excepti

With comprehensive Open Source UI Components Library & Bootstrap Dashboard Templates created and backed by professionals. CoreUI helps you build reliable web apps faster than before.

20+ Best Free VueJS Admin Templates Vue.js is a simple way to create reactive data binding between DOM and your HTML content using javascript. Vue.js is essentially allowing you to do really easy data handling. Updating data and syncing data between your web application and what’s presented to the user. Vue.js is not exactly a full framework. It is really a lightweight version of some of these oth

Propeller is a front-end responsive framework based on Google’s Material Design Standards & Bootstrap. Get Started

DroidKaigi2018 2018/2/8 16:50~17:20 ROOM3 GithubURL:https://github.com/kiuchikeisuke/Android-Studio-CleanArchitecture-template-forKotlin

ウェブサイトの閲覧方法は、モバイルやタブレットの普及によって大きく変わってきており、あらゆる端末へ対応することがウェブデザイン制作では必須となってきています。このややこしい問題を解決する、もっとも一般的な方法のひとつが、レスポンシブWebデザインです。 レスポンシブWebデザインとは、デスクトップやタブレット、スマートフォンなどさまざまな画面サイズごとにデザインを調整でき、あらゆるデバイスに最適化したWebサイトを、1つのHTMLで実現できる制作手法を指します。 今回はレスポンシブWebデザインに対応した、無料ダウンロードできるHTMLテンプレート素材をまとめてご紹介します。どれも文字テキストや画像イメージを編集するだけで、すぐに高品質なウェブサイトを作成できます。またBoostrapなど人気フレームワークを利用した素材も多く、柔軟にカスタマイズできる点もポイントです。 サイト設計の手間を

Bootstrapなどのフレームワークの登場によって、ウェブサイト制作は以前よりも手軽に、そして身近になってきています。特にデザイントレンドをうまく採用したHTMLテンプレートを利用することで、モバイル端末へのレスポンシブ対応はもちろん、簡単にサイトデザインを作成できるようになっています。 今回は、無料ダウンロードできる新作HTML5/CSS3テンプレート素材をまとめてご紹介します。どの素材も高品質なだけでなく、テキストエディタで編集しやすい仕様となっており、サイト制作が捗るアイテムが揃っています。今後のデザイン制作に活用してみてはいかがでしょう。 詳細は以下から。 サイト設計の手間を大幅に削減する、実用HTMLテンプレート素材まとめ Material Design for Bootstrap Google 公式のデザインガイド「マテリアル・デザイン」をコンセプトに、人気フレームワーク B