AWS Glueのデータカタログは、データのメタデータを管理するための非常に便利なサービスです。データカタログを使うことで、データの整理、検索、管理が簡単になり、データ分析やETL（Extract, Transform, Load）ジョブの実行が容易になります。 データカタログの基本機能 1. メタデータ管理 データカタログは、データの「メタデータ」を管理します。メタデータとは、データの「データ」です。たとえば、テーブル名、列名、データ型、データの保存場所などが該当します。 データベースとテーブルの定義 データカタログは、データベースやテーブルのメタデータを管理します。たとえば、Amazon S3に保存されたデータファイルのスキーマ情報を登録できます。 パーティション情報の管理 データがパーティション化されている場合、そのパーティション情報もカタログに登録されます。これにより、クエリのパフ

こんにちは！シンプルフォームの山岸です。 皆さん、データ基盤のメタデータ管理には何を利用されているでしょうか。 当社では現在、Snowflake × dbt を軸としたデータ基盤への移行に向けて検証・構築を進めており、併せて dbt Docs の機能を用いたメタデータ管理・提供方法についても検討しています。 今回、dbt Docs を AWS 上で CI/CD、およびホスティングするための AWS インフラ構成について検討してみたので、本記事ではその内容についてご紹介できればと思います。（アーキテクチャの話がメインであり、細かい実装についてはあまり言及しない点について、予めご了承ください） メタデータ管理について メタデータとは データ基盤の文脈における「メタデータ」とは、一言で言えば「データに関するデータ」のことを指します。これには例えば、DB 内の各テーブル・カラムのビジネス的意味や、

はじめに 本記事はフラー株式会社 Advent Calendar 2024 の6日目の記事です。 5日目は@Daiji256で色彩工学とUIデザインでした。本職Androidエンジニアでありながら、組版に造詣が深いちょっと変わった面白い方です。ペヤングを食べるのがめちゃくちゃ早いです。 なぜ「サポート終了間近」？ 私たちエンジニアにとって身近な「サポート終了」というフレーズ。 「Windows XP のサポート終了」「Internet Explorer（IE）のサポート終了」のように、愛しさとせつなさと心強さを感じさせる出来事を彷彿とさせます。 そして今、30代中盤を迎えようとしている「しがないエンジニア」である私も、どこかソフトウェアのように「サポート期限」が迫っているような気がしてなりません。若手エンジニアの勢いと新しい技術の波に押され、いつの間にか「レガシー化」の予兆を感じる日々。か

以下の公開計測会でやったものを個別に解説してみる。 細かいテクニックが多いのだが、それを可能な限りテキストとスクショで解説したい。使い方の解説が中心で、どういう意味があるかは解説しない。 Chrome131時点のスクリーンショットで、後で読む場合は頻繁にUIが変わっている点に注意。大事なのは意図。 宣伝: これを御社のサイトで解説する仕事をやっています。 デモのURL これに意味はなく、今日偶然見ていただけで意図はない。関係ないがエッジランナーズは最高のアニメ。 DevTools を開く F12 or 右クリックから「検証」 DevTools > Lighthouse この状態で計測 このとき、新しいプロファイルを作ったりして、可能な限り Chrome拡張が入ってない状態にすること。Chrome拡張による処理も計測に含まれてしまう。 Lighthouse レポートの読み方 点数部分にマウス

事業会社においてBIやレポート用の分析を担当しているが以下のような状況に該当する人に向けたデータパイプライン構築の入門のための資料です 🧑🏻‍🦱「BigQuery等のView機能を活用しているが、データの流れを追うのが困難な状態になってしまっている、クエリの実行に時間がかかりBIツールが使いづらい」 👩🏻「専任のデータエンジニアがおらず、前処理をpython等で処理したりするのがリソース調整的に大変」 👱🏻‍♂️「ロードされたデータに重複があったり、過不足があったりしてデータの品質が担保できていない」 🧑🏻‍🦰「Digdagやluigiといったデータ変換ツールの独自の仕様を理解しきれておらず使いこなせていない」 ※現時点ではBigQueryを中心に記事を構成してあります、SnowflakeやAmazon Redshift等の様々な分析基盤でもdbtは対応可能です

Hono アドベントカレンダー 2024 初日担当の おりばー です。 本記事では、11 月にリリースした漫画プラットフォーム「comilio」の開発事例をもとに、とにかく Hono が最強だということをつらつらと書いていく記事となります。 個人的 2024 年ベストオブ優勝フレームワークは Hono 一択です。Hono が無ければ、おそらくプロダクトを今もリリースできていなかったと言っても過言ではありません。 ぜひこの記事を参考にして、0 -> 1 を立ち上げる際は Hono を積極的に採用してもらえればと思います。 また、Hono という最高のプロダクトを生み出してくれた @yusukebe さんには全身全霊を持って感謝します。 「comilio」のインフラ構成 まず、今回の実例である漫画プラットフォーム「comilio」の構成を紹介します。 「comilio」では TypeScrip

この記事は「corp-engr 情シスSlack（コーポレートエンジニア x 情シス）#1 Advent Calendar 2024」の12/1、トップバッターの記事となります。 まずは情シスSlack 5周年おめてとうございます！ 初期に参加したうちの1人だったりするので感慨深いなと思うと共に運営の皆様いつもありがとうございます。 はじめに さて、まず簡単に自己紹介させていただきますと、みともりと申しまして直近で情シスを10年くらいやっております。ちなみに今年の1月から独立して主に情シスの皆さんを支援する仕事を始めております。(もちろん情シスもやってます) 最近はエンドポイントデバイス関連、特にMDMの導入・運用に関してご相談をいただくことが多いのですが、2022年から続く円安のおかげで、MDM製品に対して「え、高いね」と言われることが多いです。 「MDMを導入したい」とご相談いただく場

AWSのETL（抽出、変換、ロード）ツールにGlueというサービスがあるのは認識していましたが、使い方を把握していなかったので、触ってみた結果を残していきます。AI・BIの文脈で、バラバラに存在しているデータを前処理して一箇所にまとめたい、というケースは結構あると思うので、使用するケースは今後増えていきそうです。 Glueとは？ フルマネージドなETL（抽出、変換、ロード）サービスです。S3・RDS・Redshift等にあるデータを取得・変換して、これまたS3・RDS・Redshift等に吐き出すことが可能です。今回は、シンプルな例として、S3にあるcsvを読み込んで、カラム名を変換した上で、S3上の別のバケットにcsvで吐き出す流れについて記載します。 ↓やりたいことのイメージ Glueを使うにあたって、理解しておく必要のある用語がいくつかあるので、記載します。 データカタログ 入力デー

How to incrementally load data into Snowflake with dbt　- dbtにCOPY がく＠ちゅらデータエンジニア　です。 ※2022年9月よりちゅらデータ株式会社にJoinしました dbtは、ELTのうちのTを司るツール・・・・という話ではあるのですが、某案件で　S3に上げたParquetファイルをdbtでSTAGEから読み込んで、増分を取り込む仕組みがあったんです。 で、dbtでも、SnowflakeのCOPY INTOをつかって取り込みができないか？ SQLが実行できるんだから、dbtでもできんじゃね？ ってことで、調べてたらこんな記事にたどり着きました TLDR dbtは基本的に、すでにデータがDWHにロードされていて、単純なSELECTで色々マートを作ったり、モデリングすることが想定されてる。 この記事ではS3からSnowflakeに

TypeScriptは強力な型システムが魅力です。 しかし、複雑な型定義は理解が難しいです。特にライブラリの型定義などはジェネリクスや交差型などがネストしていることも多く、すぐに把握するのが難しい場合があります。 Visual Studio Code（以下VSCode）でTypeScriptの開発をしている際、型にカーソルをホバーすると型情報が表示されます。 しかし、深いネストや複雑な型の場合、展開される情報が不十分で、定義を追う必要があります。 そんな時に役立つVSCodeの拡張機能がないかな〜と探していたら「Prettify TypeScript」というぴったりの拡張機能を発見しました！この拡張機能を使うと、ホバーした時に型が展開された状態で表示されるため、型情報を把握しやすくなります。 Prettify TypeScriptの概要 Prettify TypeScriptを使用すること

独学で個人開発を始めて5年が経ちました。これまでには収益化に成功したサービスもあれば、鳴かず飛ばずでお蔵入りになったサービスも数多くあります。それらの経験から、成功したサービスはなぜ上手くいったのか、マーケティングや収益化において押さえておくべきことは何か、その要点が少しずつ見えるようになりました。 今回は私が開発〜集客〜収益化を行うプロセスと、各工程で気をつけているポイントを順を追って書き出してみます。上手く言語化できているか分かりませんが、暖かい目でお付き合いください。 収益化した3つのサービス 私はこれまでにWebサービスを20個以上開発しており、現在はポモドーロタイマー（月間100万ユーザー）やYouTubeのループ再生ツール（月間10万ユーザー）などを運営し、そこからの収入で生活しています。 基本は海外向けのBtoCで、以下のようなツール系が中心です： 収益化済みサービス： Po

タイトルに書きたいことが長いとタイトル付けに困りますね。 今日は、「Ruby on Rails の ActiveRecord の insert_all で MySQL向けに発行されるSQLに ON DUPLICATE KEY UPDATE foo = foo が含まれている理由」について、知っておこう。（調べました） TL;DR Ruby on Rails の insert_all で発行されるSQLには ON DUPLICATE KEY UPDATE foo = foo が末尾に指定されている foo はどうやら INSERT INTO で登録先として指定している列の1番目 upsert_all に ON DUPLICATE KEY UPDATE が指定されているならまだしも、insert_all にこの指定があるのは感覚的に気持ち悪い 該当の実装部分はここ https://github

はじめに Next.jsにServer Actionが新しく導入されました。サーバ上の関数をブラウザから直接呼び出すようなコードの書き味を提供するもので、非常に魅力のあるコンセプトだと私は思っています。ただしサーバ上で実行されるコードとブラウザで実行されるコードの境界が曖昧で、"use server"のセキュリティ上の懸念もよく議論されています。 一方で、私の先日の記事Next.jsで簡単なCRUDアプリを作りながら気になったセキュリティ: Railsの視点からで、私はこの"use server"問題には言及しませんでした。まだ非常に新しい話題でかつNext.js側の対応も進行中だというのもありますが、実は個人的にあまり気にならないのが最大の理由です。 気にならなくなったきっかけは、Server ActionをRuby on Railsのコントローラと同じように考え始めたことです。こうする

はじめに こんばんは！ 皆さんは以下のようなすぐ消えてしまう要素をDevToolsで確認したいときはどうしますか？ 常に表示されるようにわざわざコードを修正してから、DevToolsで要素を確認したりしていませんか？DevToolsをうまく使うことで、わざわざコードの修正をせずとも簡単に要素の確認をできるのでそのちょっとしたTipsのご紹介です！ ① CSSイベントでの確認方法 まずはCSSイベントで要素の表示制御を行っているパターンでの確認方法です。以下のようにCSSイベントのhoverで表示制御をしている要素を例にDevToolsで確認する方法を見ていきましょう！ import "./style.css"; export const Index = () => { return ( <div> <button className="myButton">Button</button> <

はじめに 数か月ほど前、住所の正規化が話題になりました。こちらの記事が特に有名ですね。 関連して、こちらの記事も話題になりました。 当時はほかにも色々な人が日本のヤバい住所の例をあげてくれて、とても楽しかったです。 実は弊社でもAddressianという住所正規化サービスを提供しています。初めて目にする変わった住所を見かけたら、とりあえず自社のAPIに投げてみて「おお、正規化できた」「すごい！」などといいながら遊んで働いています。 サービスは無料で利用できますが、今までは利用の手順が面倒でした。 ユーザー登録する APIキーを発行する 住所正規化APIを呼び出すプログラムを用意する（サンプルコードあり） プログラムを実行して住所を正規化する そこで、もっと気軽に住所正規化を試してもらえるように、ユーザー登録しなくても使えるデモ機能を作ってみました。 デモ機能の概要 住所正規化デモ画面 こち

背景 当社ではGoogleグループを全て情シスで管理していましたが、一部のグループの管理権限をグループオーナーに移管することになったため現在準備を進めています。 ただ管理者としては移管するにしても野放しにするわけにはいかないので、メンバーや権限、特定のプロパティの設定情報を任意のタイミングでリストにして確認できるようにしておきたいと思い、調べてみることにしました。 取得したい情報の条件 プライマリドメインだけでなくセカンダリドメインのグループも取得できるようにする メンバー情報として氏名・メールアドレス・ロールは必須 管理者として把握しておきたいプロパティの設定情報も含める どうやって取得するか 最初は 管理コンソールで何とかならないか？ と思ったのですが、管理コンソールからは執筆時点では1グループずつしかCSVでダウンロードできず、、それでは作業が途方も無いことになるので即却下。 気を取

この本では、初心者・入門者の方に向けて、AIコードエディタの知識や使い方を体系的にまとめました。 【概要】 ・内容：Cursorとは？、Cursorのできること、Cursorの料金プラン（比較表あり）、Cursorのインストール方法（環境構築）、Cursorの使い方、Command K、Chat、@ Symbols、Codebase Answers、Docs、Auto-Debug、Fix Lints、CursorとGitHub Copilotの違い、OpenAIのAPIをCursorに登録する方法、Azure OpenAI ServiceのAPIをCursorに登録する方法、CursorやGitHub Copilotの社内導入を検討している方々へ ・所要時間：約2時間 ・必須条件：特になし ・推奨OS：macOS / windows ・レベル：★☆☆☆☆

経緯 2023年10月ほどに以前から使用していたMacBook Pro(OS sonoma)がスリープ後に再度開くとバッテリーを消費しきってしまう現象が発生した。前日にMacBookを利用後翌日にはMacが電源なしでは操作できない状態となっていたため非常に面倒なため調査を開始 似たような症状は他の知人MacBook Pro(OS Ventura)でも再現していた 対象の人 Mac設定のログイン項目の見直しを行ったが解決できなかった人、あるいは原因と思われるアプリケーションの設定をオフにすることが出来ない人 MacのSMCのリセットなどを行ったが全然解決ができなかった人 他のサイトなどでMacバッテリードレインについて調べたが解決できずにっちもさっちも行かない人 実行環境 MacBook Pro 2020 13-inch プロセッサ 2.3 GHz クアッドコアIntel Core i7 O

Elixir 製 SPA 開発フレームワーク Phoenix LiveView の入門書です。 これを利用すると、ほぼ JavaScript のコードを書かずにシングルページアプリケーション（SPA）を構築できます。 本書が対象とするソフトウェアのバージョンは、Elixir 1.17, Phoenix 1.7, LiveView 1.0.0-rc.6 です。 執筆途中です。随時、更新していきます。 表紙・イラスト: Kenko (Xアカウント: @kenko97540086)

Elixir 製の Web サーバー LiveWebServer の入門書です。 PostgreSQL を利用して仮想ホストを管理できる点が特徴です。 単一のサーバー上で多数の静的なウェブサイトを運用するのに向いています。 本書では、静的サイトジェネレーター（Astro, Hugo, tgweb）と組み合わせて LiveWebServer を利用する方法を解説します。 また、本番環境へデプロイする方法と Cloudflare のリバースプロキシと連結する方法についても説明します。 執筆途中です。随時、更新していきます。