この記事は Commune Advent Calendar 2024シリーズ1と、dbt Advent Calendar 2024の 6日目の記事です。 dbtのincremental modelを使った、日々の集計データを追記する履歴テーブルを皆さん運用していると思います。 何かしらの理由により空振りしてしまったり、洗い替えをするときに空白の期間が発生した時にすぐに検知出来るテストが欲しいですよね。 そんな時にぴったりなものが dbt-expectations の expect_row_values_to_have_data_for_every_n_datepart です。 ネット上に記事が7件、それも利用者の記事は0件と、とても知名度が低いので今回取り上げることにしました。 きっと1年後には皆が使っている事があたりまえなテストの1つになってるはずです。 インストール方法 package

はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかったことを紹介していきます。 dbtのUnit testsとは まずは簡単にdbtのUnit testsを紹介します。dbtのUnit testsはソフトウェア開発において実施されるユニットテストをdbtでも実現できるようにしたものです。dbtの1つのmodelをソフトウェアの最小単位としてとらえて、入力データと期待されるデータを準備します。入力データをテスト対象のmodelが処理し、その出力結果と期待されるデータを比較し検証すること

タイトル通りで Alienware の38インチ湾曲ウルトラワイドモニタ AW3821DW を買った。ウルトラワイドや AW3821DW の魅力が伝えられたり、購入の際の一助となればと思う。 スペックサイズ：37.5インチ 解像度：3840 x 1600（≒21:9） DPI：0.229mm 曲率：2300R リフレッシュレート：144Hz パネル：NanoIPS G-Sync：G-Sync Ultimate 色域：DCI-P3 95% 価格：178,178円（税込） 今回は届いた当日ということで、サイズ感を主にまとめていく。後日、ゲームと仕事、その他用途で使ってみた感想についてまとめる。 次回→ AW3821DW を買った② 買った理由 個人的な理由しか書いてないので興味ない人は飛ばして構わない。 これまでは以下の3枚のモニタで仕事とゲームをやっていた。 ・EV2456, 24", 19

はじめに 前にも書いたが、「アナリティクスエンジニア」を採用するのは難しい。そもそもアナリティクスエンジニアの知名度が低いし、スキルを持っている人が採用市場に少ない。 しかしニーズはある。以下のようなケースでは、アナリティクスエンジニアはかなりほしい人材だ。 会社全体でデータ分析に対するニーズが高い場合 例えば、競争環境の激しいマーケットを相手にしている状況など この場合、データに対する需要をアナリスト単体では満たすことができなくなるため、ダッシュボードを利用して分析環境をスケールさせるのが常套手段になる この段階でテーブル設計・パイプライン設計が行われるため、アナリティクスエンジニアの出番となる 定常的なデータ分析が求められている場合 日時でKPIを見る場合など、分析がパターン化できそうな場合 アドホックにやるのが面倒になってきたタイミングでテーブル設計・パイプライン設計が行われるため、

さがらです。 dbt ver1.9の新機能であるmicrobatch incremental modelsを試してみたので、本記事でその内容をまとめてみます。 microbatch incremental modelsとは まず、incremental modelsについてですが、dbtで前回更新時からの差分更新を行うことができるmodelとなっています。 その上で、このincremental modelsではappend、merge、delete+insert、insert_overwriteという4つの増分更新方法がこれまで提供されていました。 この増分更新方法の新しいオプションとして追加されたのが、microbatchとなります。 microbatchでの更新時の挙動ですが、指定したカラムの値を元に日別に分けて、複数の更新処理が走るイメージとなります。（下図は上記のリンク先ドキュメン

皆さん、フォーム作ってますか？ Webサイトやアプリを作るにあたって避けられないのがForm作成、多くの方が autocomplete を設定するなど、より使いやすいフォームを作成するために尽力されていることと思います。 一方で、悪気なく書いたコードでより使いにくいフォームになってしまっている例が世の中には多く見られます(特に銀行系) 今回は、よくあるフォームの実装を例に、(特に日本語話者にとって)より使いやすいフォームにするためのちょっとした仕様や私が考える対策を書いていこうと思います。 忙しい方のために最初に書いておくと、この記事に書いてあることの多くは autocomplete の仕様を意識した実装をしましょう の一言に集約されます。 多くの方にとっては「何を当たり前のことを」と思われる項目も多いかとは思いますが、当たり前のことがされていないフォームが世の中には多すぎるので、少しでも

うちのチームにはPdMが2人いる。そのPdM2人は、お互いの得意を活かしながらプロダクトをマネジメントしてくれている。「PdMやPOは1人であるべき」って言葉を見かけたりするけど、うちのPdMは2人でいい感じにやっていて、このスタイルいいなぁって思う。おかげでエンジニアとしても動きやすい。 そもそも、PdMってやることがめちゃくちゃ多い。ステークホルダーと話したり、ユーザーさんのお話を聞きに行ったり、少し先のことを考えたり、仕様を決めたり、受け入れ判断をしたり、仮説検証のためのKPIをチェックしたり、問い合わせがあったら一次請けをしてくれたり、いろんなことを決断しまくったり。それでいて業界の勉強もしている。 大変だよね。ひとりでさばききれる量じゃないよね。って僕は思っている。 だから、複数のPdMがいるのはとても良い。大変な作業を分担したり難しい決断を相談したりしながらプロダクトのことを考

eGPUを安価に。あるいはPCIeカードをノートパソコンに。 ちなみにUSB接続のものはNVMeをUASPに変換する上位のレイヤーで動く存在なので使えない。ひょっとしたらUSBとThunderbolt両対応のものも調子が悪いかも。 今回使用したSSDケースはこちら。ヤフオクで中古品を入手したが、おそらくこちらの製品と思われる。 Wavlink Portable M.2 NVMe PCIe SSD Enclosure Intel Certified Thunderbolt™ 3 https://www.aliexpress.com/item/1005005943675467.html 変換に使うライザーケーブルはアリエクでm.2 pcie x4 riserとかで検索すれば出る。PCIeスロットとM.2カードが一体になったタイプはブラケットがケースのコネクタと干渉するのでケーブルがついたものを

本当に実践的なデザインドキュメントの書き方 第1回：なぜ渡されたワイヤーフレームは分かりにくいのか？ | アドビUX道場 #UXDojo 連載 本当に実践的なデザインドキュメントの書き方 いきなり渡されたワイヤーフレームをデザインするよう言われて戸惑った経験は、デザイナーなら誰でもあるのではないでしょうか？これはディレクターとデザイナーの分業という状況に起因する問題ですが、分業が一般的なのにはもちろん理由があります。そこで、この連載では、現在の分業体制を前提に、情報設計に関わる『デザインドキュメント』をきちんと制作することで、この問題を解決する手段を探ります。 第1回は、受託のWeb制作における一般的な分業体制を詳細に分析し、よりデザイナーが貢献できる役割分担について考えていきます。 なかなかはじめられないUXデザイン これはGoogleトレンドで、「Webディレクター」「Webデザイナー

2024/08/20 | Findy Lunch LT | #data_findy | 大規模データの負債解消への道のり Lunch LT https://findy.connpass.com/event/325973/

はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

カフェという施設に求める機能は人それぞれ違うことと思うが、精神疾患を抱えつつ都市生活を送るわたしが求めているのは、人混みに疲弊したときにゆっくり腰を下ろしてクールダウンできる場所としての機能だけだ。つまり、並ばずに入店できて、暑さ寒さをしのげる空調があり、時間を気にせず座っていられる椅子があればそれでよい。フォトジェニックなインテリアも、こだわりのブレンドコーヒーも、センスのいい店員とのコミュニケーションも不要だ。この記事では、そんなわたしの目線から、東京都においても一際混雑している街・渋谷のおすすめカフェや休憩スペースを5つ紹介する。渋谷駅からのアクセスや混雑度合いや価格帯には触れるが、飲食物の味はどうでもいいので触れていない。カフェに求める機能がわたしと似ている人はぜひ参考にしてください。 なお、大前提として、どのカフェ／休憩スペースも非常に入りやすい雰囲気である。ギャラリー併設で、身

僕がプログラミングに触れた当時は、プログラミングといえば「まず C 言語」でした。それから 10 年以上が経ちました。学校の授業や企業の研修では未だに C 言語を教えているところがあるようです。関数型プログラミング言語という波が来ている 2012 年にもなって未だに C 言語をやっているというのはまるで進歩が無く残念な気もしますが、比較的多くのプログラマに浸透している共通言語を最初に教えるというのは、一方では喜ばしい事だと解釈する事もできるのかもしれません*1。まぁとにかく、本意にせよ不本意にせよ現場で プログラム初心者に C 言語を教える羽目になった 人がたくさんいて、プログラム初心者なのに C 言語を学ばざるを得なくなった 若者がたくさんいるということです。 C 言語を教えるときに避けて通れないのがポインタで、プログラム初心者が C 言語を学ぶときにやたらとつまずく人が多いのがポインタ

# Event データモデリングとデータ基盤の構築・運用 （第14回ちゅらコラボ）CARTA HOLDINGS x ちゅらデータ 合同イベント https://churadata.connpass.com/event/254417/ ぼくのかんがえる最高のレポーティング基盤 https://speakerdeck.com/pei0804/hokufalsekankaeruzui-gao-falserehoteinkuji-pan-at-awsdeshi-jian-analytics-modernization ディメンションモデリングモデリング https://zenn.dev/pei0804/articles/dimensional-modeling スタースキーマ https://zenn.dev/pei0804/articles/star-schema-design コンフォ

SwitchBotお掃除ロボットS10の特徴と優れた点 SwitchBot S10最大の特徴はゴミ収集ステーションと水交換ステーションが分かれた世界初のデュアルステーション設計を採用している点 S10は世界初のデュアルステーション設計を採用 ゴミ収集ステーションと水交換ステーションが分かれた世界初のデュアルステーション設計 よくある一体型大型ステーションではなく、S10はゴミ収集の役割、給排水の役割を２つに分割。２つのステーションで掃除も日々のメンテンナンスも効率化することに成功しています。 これまでの一体型大型ステーションは様々な役割を１つのステーションが担当。サイズが大きく、本体重量もしっかり。管理は簡単だけど、置き場所の寸法確認や、設置を２人で行うなどデメリットも。 S10はゴミ収集ステーション「26×20.7×41.2（㎝）」、水交換ステーション「40×16.5×10（cm）」と非