はじめに 当初のSpannerにはデフォルトの値をセットする機能が存在しておらずアプリケーションでその前提の配慮が必要で地味に面倒でした。 いつからからデフォルト値が使えるようになっていたので使い方と簡単な検証結果をメモしておこうと思います。 基礎知識 SpannerではPKにUUIDv4を利用することが推奨されています。これはSplitへデータを分散させるにあたりPKの先頭付近の値を元に配置配置先を決定するというアルゴリズムがあるためです。 単調に増減する数値や先頭付近の値が偏る文字列（例えば名前やメールアドレス）をPKに採用すると特に書き込みのアクセスが単一のSplitに集中する、所謂ホットスポットが発生しスケーラビリティを十分に活かすことができません。 使い方 UUIDv4をセットする 従来ではいちいちアプリケーション側のロジックでUUIDを生成する必要がありました。 e.g. rn

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに エンジニアのみなさま、日々の学習本当にお疲れ様です！ また本記事まで足を運んでいただき本当に感謝です。 最後まで読んでもらえると幸いです。 システム設計はエンジニアにとって重要なスキルですが、いざ学習しようとすると幅広い知識と実践的なスキルが求められるため、独学ではハードルが高く感じられることも多いです。今回は、システム設計を学ぶためのオープンソースプロジェクト 「system-design-primer」 を紹介します。system-design-primerを活用することで、システム設計の基礎から応用まで体系的に学べるとの

2021/05/24 サイボウズ開運研修 動画が以下のサイトからリンクされています - https://blog.cybozu.io/entry/2021/07/20/100000 - これに矢印を書きながらぐりぐりやっていたわけなので、資料単体だとわかりづらいと思います…

まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧縮されていたりします。 特に日付単位で分かれてたりすることは多いです。そこから目的のログを探し出すのは、基本はスクリプトを書くことが多いと思います。 DuckDB を使えば色々解決します。

この記事では BigQuery に追加された pipe syntax そのものについては他の記事に任せて pipe syntax と Cloud Spanner に追加された GQL の対応関係について書きます。 pipe syntax についてより知りたい人はここからリンクされている Google Cloud 公式のドキュメントや論文や Medium などのコミュニティの記事を読むと良いかもしれません。 導入 BigQuery に追加された pipe syntax 2024年10月8日付のリリースノートで BigQuery の pipe syntax の Preview が発表されました。 You can now use pipe syntax anywhere you write GoogleSQL. Pipe syntax supports a linear query struct

Photo by David Thielen on UnsplashIntroductionGoを使ってBigQueryやSpannerのSQLをフォーマットしたりパースしたりしたいなと思い調べたらGoogleが公開しているZetaSQLというライブラリにたどり着きました。 ただZetaSQLはC++とJavaで書かれていたのですが、他にGo製のOSSなどもなく自前でSQLパーサーをちゃんと書くのも大変なのでこれを使ってどうにかできないか模索した話になります。 最終的にはGoからZetaSQLを呼び出すserverを作りました。↓ naoto0822/zetasql-server GitHub - naoto0822/zetasql-server: This is server parsing/analyzing ZetaSQL (ongoing).

Send feedback Stay organized with collections Save and categorize content based on your preferences. Pipe syntax Pipe syntax is an extension to GoogleSQL that supports a linear query structure designed to make your queries easier to read, write, and maintain. To enroll a project in the pipe syntax preview, fill out the BigQuery pipe syntax enrollment form. Overview You can use pipe syntax anywhere

Linuxカーネルパラメータのチューニング＆設計 0.目的 【カーネルパラメータのチューニング】を修得する目的は、サーバの特性を理解し、それぞれに合ったカーネルパラメータのチューニングすることでリソースの有効活用をできるようになることを目的とし、私個人の経験を元にした見解を以下の記事に掲載します。 1.最初に サーバには、それぞれ必要なリソース特性があり、それに合わせたカーネルパラメータのチューニングが必要となります。 世の中の流れはオンプレよりクラウドに移行してはいるので、カーネルパラメータのチューニングよりスケールアップなりスケールアウトするなりの対応をすべきなのでしょう。 ですが、カーネルパラメータのチューニングを知らないとどちらを選択すべきかも理解しずらいと思いますので軽率には出来きません。(待ち行列理論もしらないといけませんが) また、最近のLinuxはデフォルト値が大きくなって

『イデオン』はエゴの死　ー　新潟国際アニメーション映画祭』で富野由悠季のインタビュー by Ludovic Joyet | Aug 2, 2024 | インタビュー | 0 comments 富野由悠季は、疑いなくアニメ史上最も有名で重要な監督の一人。『ガンダム』の生みの親であるだけでなく、ロボットアニメとSF全般に影響を与えた作品を残した、非常に多作なクリエイター。 このような伝説の人物に会う機会があったのは、第2回新潟国際アニメーション映画祭のときだった。富野監督はエネルギッシュで親切で、海外の人と自分の作品や映画への愛について喜んで語った。 聞き手:　ジョワイエ・ルド、ワツキ・マテオ 協力:　ワツキ・マテオ 編集協力: 前田久 Q：富野監督は物語と世界観を作るのが非常に上手だと思いますが、それなのにどうしてロボットものしか作り続けないのでしょうか？ 富野: 他の仕事がなかったからです

Linuxサーバーの最適化: vmstatとiostatを活用した性能分析と対処法 0.目的 インフラ開発者として、必須な性能分析を身につけることを目的としています。 カーネルパラメータをチューニングをする際に性能分析を前提とし、分析結果からチューニングしていきますが、具体的な指標というものが少ないので参考になれば幸いです。 基本的なvmstatの使い方については、ちょっとググればいくらでも出てくるので割愛します。 「Linuxカーネルパラメータのチューニング＆設計」でロードアベレージが高い状態にある場合、次のアクションとしてCPU使用率の確認が必要となりますので、vmstatの結果分析および対処法について深堀していきます。 よって、vmstatの結果分析と対処法を理解すると性能試験を実施した際のその対処法とカーネルパラメータによるチューニングする対象が理解できるかと思います。 1.パフォ

いい加減シェルスクリプトで [ $? -eq 0 ] や [ $? -ne 0 ] なんて エラー処理を書くのはやめよう！ShellScriptBashLinuxUNIXmacOS はじめに [ $? -eq 0 ] や [ $? -ne 0 ] は冗長でデメリットしかありません。非常に多く見かける書き方ですが、1979 年に Bourne シェルが広く公開された時からこのようなコードは必要ありませんでした。実際に当時はこのような書き方は使われておらず、このような書き方をしなければならなかった歴史的な経緯などはありません。これはなぜか広まってしまった良くない書き方です。 優れたコードとは無駄がないシンプルなコードです。丁寧なコードとは無駄な処理を書くことではありません。[ $? -eq 0 ] や [ $? -ne 0 ] は書かないほうが、簡単で読みやすくわかりやすくなります。優れた文法

A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team

本稿はJCB Tech Blog Advent Calendar 2022の12月14日の記事です。 JCB デジタルソリューション開発部 アプリチームの村井です。 アプリチームではJCBが提供する様々なサービスの開発・運用をしています。 今回は私の担当するサービスを構成するアプリにて発生した問題の実体験と、そこから得られた学びについてご紹介します。 (※ログは全て検証環境で取得し、一部値をマスクしています。) Cloud Spannerとは Cloud Spanner（以降Spanner）とはGoogle Cloudが提供するフルマネージドなデータベースのサービスです。 リレーショナルデータベースの構造に加えて水平スケーラビリティの特性を兼ね備えていることが特徴です。またマルチリージョンによる高可用性も実現しています。 このような特徴からSpannerは金融系システムのようにミッションク

CloudNative Days Tokyo 2019 1D3 セッションのスライドです。 #CNDT2019 #OSDT2019 #RoomD

G-genの杉村です。Google Cloud（旧称 GCP）の Cloud Identity-Aware Proxy（以下、Cloud IAP）についてご紹介します。 Cloud IAP とは 料金 VM にアクセスするための踏み台として使う 設定方法 VPC のファイアウォール設定 IAM 権限の付与 アクセス方法 SSH の場合 Google Cloud コンソールから gcloud コマンドから SSH ターミナルソフトウェアから RDP の場合 Chromebook で IAP Tunnel を作成する方法 Cloud IAP とは IAPの概念 Cloud IAP は、Google Cloud（旧称 GCP）が提供するフルマネージドのリバースプロキシです。フルマネージドですので、利用者は IAP を構築したり運用・保守する必要はありません。 上図のように IAP を経由して V