前回はこちら！ Lookerでダッシュボードを作成する際、標準状態ではテキスト（ディメンション値やメジャー値）の表示方法がやや限定的に感じることがあるかもしれません。たとえば「特定の値を太字で目立たせたい」「フォントサイズを小さくしたい」「色を変えたい」といったニーズは日々のレポート作成でよく出てくるものです。 実はLookerでは、htmlパラメータを使うことで表示テキストに任意のHTMLタグ・スタイルを挿入し、文字の見た目を自由にカスタマイズできます。これによってダッシュボード上の値を強調表示したり、行ごとに色を変えたりと、柔軟な視覚表現が可能になります。 基本的な書き方 LookMLでディメンションやメジャーを定義する際、html:パラメータを利用して表示上のスタイルを変更できます。 以下は特定の値が含まれる場合に太字や色を変更する例です。 dimension: TYPE { des

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート...

Pythonのバージョン3.6から導入されているf文字列（f-string：フォーマット文字列）は普通は便利なので普段遣いしていますが、色々と知らない機能があったのでメモ。 テキストの配置と整形 プログラムで標準出力に途中結果を表示することはあるかなと思いますが、そんなときに以下のような区切りの表示をすることはないでしょうか。自分はよくあります🙄 #######実行表示######## ただ、これをつくるのって結構面倒だし、開始時・終了時で挟もうものなら、長さがズレていると気持ち悪くなります。最近面倒なので以下みたいな感じにすることも多いです。それでも面倒です🙃 実行表示############### 実はこの対応がf文字列でできるということを最近知りました。しかも、、左右や中央に文字を寄せることもできるという。 以下のようにします。 右寄せ：f"{text:>20}" (20文字分の

Side-by-side AI notetaker for your videosVideo Notes to Notion in One Click and AI Flashcards maker

SELECT s.schema_name, j.latest_creation_timeFROM `region-asia-northeast1`.INFORMATION_SCHEMA.SCHEMATA AS s LEFT JOIN ( SELECT referenced_table.dataset_id AS dataset_id, MAX(creation_time) AS latest_creation_time FROM `region-asia-northeast1`.INFORMATION_SCHEMA.JOBS_BY_PROJECT, UNNEST(referenced_tables) AS referenced_table WHERE referenced_table.table_id != '__TABLES__' GROUP BY referenced_table.da

はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる（かもしれない）Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサービスでは、こうした組織管理を円滑にするような機能拡充がされています。 とはいえ、実は様々なデータをフル活用すると無料版でもできることは多くあります。今回は、そんな裏技的Tipsを5つ紹介しようと思います。 こんな方におすすめ Looker Studioの組

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? GitHub CertificationというGithubが元々はマイクロソフトやGithubの従業員向けに出してた資格があって、4種類くらいあるうちいちばん基礎的な位置づけの「GitHub Foundations Certification」という資格が、2024年はじめ頃に一般公開されて話題になっていたみたいです。 そしてそのGitHub Foundations Certificationが、これまでは99ドル（約1.5万円）だったのがちょうど3日前くらいからGithub student developer pack（Github学

同僚が書いた Go初学者へのコードレビューでよくあったコメント20選 では、Go初学者へのコードレビューでよくあったコメント20選を紹介しました。 今回は私が コードレビューでよくお願いするコメント追加のお願い について紹介します。 前提：コメントを書いて欲しいわけ コードレビューでコメントを書いて欲しい理由は以下の通りです。 プロダクト、サービスの持続可能な開発を支えるため 人が入れ替わっても開発の迷いを可能な限り減らすため 具体的なコメントの追加パターン ①変数やパラメーターの説明を書く コードを書く人にとっては必要があって構造体や変数を定義しているので自明ですが、第三者からすると解釈に悩むことがあります。 そのため誰が見ても自明でしょうという変数以外については注釈をいれます。 たとえば、User 構造体における ID は自明（どのような採番ルールか？みたいな疑問は出るが、ID を入力

Practical Tips for Bootstrapping Information Extraction Pipelines

Looker StudioとBigQueryを利用してダッシュボードを構築する際、気になるのはBigQueryに課金される費用ではないでしょうか。 本記事では、BigQuery native integration in Looker Studioを利用して、Looker Studioダッシュボードによって発生するBigQuery費用をモニタリングする方法をご紹介します。 Looker Studio + BigQueryの費用計算方法 Looker Studioは基本無料のBIツール まず、Looker Studioの利用料金は基本無料です。GA4の標準コネクタや、Googleスプレッドシートの標準コネクタを利用したダッシュボードであれば、閲覧や操作など運用によって発生する費用はありません。 Looker Studio Proという、有償版のLooker Studioもあり、ガバナンス機能

はじめに この記事ではLooker APIの使い方について説明します。 APIのバージョンは4.0です。 Looker APIとは Looker APIは、Lookerの機能を外部から利用するためのAPIです。 Looker APIを使うことで、Lookerの機能を外部アプリケーションから利用できます。 APIのエンドポイントを知る APIを使うためには、まずAPIのエンドポイントを知る必要があります。 APIのエンドポイントは以下の通りです。 エンドポイント: https://インスタンス名.looker.com:19999/api/4.0/ インスタンス名には、Lookerのインスタンス名を指定します。インスタンス名はユーザーによって異なります。 確認方法としては、Lookerのログイン画面にアクセスすることで確認できます。 APIの使い方 APIを使うための手順は以下の通りです。 A

はじめに エンジニアに関する情報量は日本よりも海外（特にアメリカ）の方が圧倒的です。 そのため、英語での情報収集を習慣付けておくとより早く必要な情報に辿り着くことができます。 英語がわからない場合は、ChatGPTに全てコピペして翻訳させましょう！日本語ネイティブの皆さんでも余裕で海外コンテンツを見ることができるでしょう！ 本記事では、濃い情報が集まる場所をまとめました。 日頃の情報収集やキャリアに関する情報まで幅広くまとめたので、エンジニア学生や初学者にとって役に立つ内容かと思います。 ChatGPTと紹介している情報源を連携すれば、英語が苦手だとしても必要な情報に素早く辿り着くことができるでしょう。 本記事の対象読者： 日頃の学習に役立つ情報源を知りたい方 年収やキャリアに関する情報を手に入れたい方 インターンや就活前に情報を仕入れておきたい方 本記事の構成 学習系 ニュース系 キャリ

はじめに BigQuery で「グループ化したものから最新のレコードを取得する」を行いたい場合があります。 このような場合、 ARRAY_AGG 関数を利用すると、効率よく最新のレコードを集計できます。 この記事では、ノベルゲームのサンプルをもとに、 ARRAY_AGG を利用した「もっとも X なレコード」の取得例を示します。 利用するサンプルデータ ganyariya がプレイしたノベルゲーム履歴データを利用します。 with games as ( select 1 as gameId, 'ダンガンロンパ1' as title, 'スパイク・チュンソフト' as brand, 'mystery' as genre, 2010 as year, 90 as score, 3000 as price union all select 2 as gameId, 'ダンガンロンパ2' as t

記事のタイトルを見て、カレンダーを確認したあなた。いまチェックしているのが「Googleカレンダー」や、それと連携しているサービスなら、ちょっと気を付けた方がいい。デフォルト設定の場合、本来祝日ではない2024年11月15日が、まるで祝日のように表記されているからだ。 11月15日は七五三の日。めでたい日ではあるが、祝日ではなく、仕事は休みにならない。連携機能を持つカレンダーサービス運営各社などがそれぞれ告知しているところによれば、原因はGoogleカレンダー側の仕様変更。単に行事がある日も祝日のように表示される変更があったという。 実際、2024年12月25日のクリスマスなども祝日のように表示される。iPhoneのカレンダーでも、Gmailのアカウントと連携している場合は、同様の表示になるので注意が必要だ。 解決策は簡単。Windowsの場合は「他のカレンダー」枠にある「日本の祝日」の設

社内のプチ発表に使った資料です。 文章のコツ 前置き フルリモートでは、文章でのやり取りがメインになる。 なので、文章がヒドいと「この人と仕事するのキツイ」と思われちゃう😢 そう思われないための色々思ったことを自戒メモ。 なるべく箇条書きにする

こんにちは。ダイニーのPM @takashi です。 みなさんは、社内からのプロダクト仕様質問などが多くて困っているなどはないでしょうか？ ダイニーでは、日々、顧客からの質問も含めて、プロダクトに関する詳細な仕様質問や、データ不備や不具合の調査依頼など様々な質問が寄せられています。 また、ダイニーは、導入店舗数が増えたり、新入社員が増えた時、営業が商談・サクセス活動のために顧客と接触を増やした時など、事業が大きくなるほど質問が増える構造となっており、対応が大変になっています。 基本的には、PMが回答する仕組みにしているのですが、件数が多く時間を取られてしまい、本来の企画等に割ける時間が減ってしまっている課題があったので、改善に取り組みました。 前提ダイニーでは、Slackに気軽にプロダクト関連の質問をできるチャンネルがあり、Slack Workflow を使って、フォームから質問できるよう

初めまして。MLデータ部データ基盤ブロックの小泉です。 本記事ではGartner社から提唱されたActive Metadata Managementに着目し、BigQueryのCompute費用を削減した方法についてご紹介します。 目次 目次 Active Metadata Managementとは 結局どんなことを行なったのか、ざっくりまとめ Compute費用のpricing modelとReservationについて pricing model Reservation Metadataを使用して最安値のpricing modelを求める方法 マート集計クエリ実行時、pricing modelを切り替える方法 まとめ Active Metadata Managementとは Active Metadata Managementとは、Gartner社が提唱するメタデータ管理の新しい考え方

こんにちは、上野です。 前回に引き続き、Google Cloudのセキュリティ設定第２弾です。今回は監査ログ（Cloud Audit Logs）です。 監査ログは「誰が、いつ、どこで、何をしたか」を残すログで、AWSだとCloudTrailですね。目的はAWSと同じなのですが、設定方法や見え方がけっこう異なるので、概要を掴みつつ追加の保存設定を見ていきます。 Google Cloudの監査ログ 監査ログには、管理アクティビティ監査ログ、データアクセス監査ログ、システムイベント監査ログ、ポリシー拒否監査ログの4種類存在します。 管理アクティビティ監査ログ ユーザーが VM インスタンスを作成したときや IAM権限を変更したときに記録されるログで、いわゆる一般的な監査ログです。デフォルト有効で、無効にできません。 データアクセス監査ログ BigQueryやCloud Storageなど、データ

Google Cloudサービスが提供しているBigQuery監査ログの活用方法。 実際に弊社で利用しているクエリも併せて紹介します。

2022.12.06 技術記事 BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] by Yuya Nakamura #infrastructure #sre #google-cloud #google-bigquery はじめに こんにちは。 IT 基盤部パブリッククラウドチームの中村です。 GCP の BigQuery は便利なサービスですが、使い方を誤ると簡単に高額請求されてしまうことがあるサービスでもあります。 この記事では、そんな BigQuery のガバナンスが効いた状態を維持する活動である BQ ドクターという取り組みを全社展開するための基盤を整備した話をご紹介します。 BQ ドクターとは BQ ドクターは、下図のフローで継続的にデータのガバナンスを維持するための取り組みの総称で、以前からデータ本部で実施していました。 これまでの