同僚に「GitHubのMerge Queueってあんまり知らないんだけど、どう思う？」って聞かれて「あー。僕もあれよく分かってないんだよね」って返事をして、ちょうどいい機会なので見てみた 見てみた感想としては、いくつか気をつけておきたい点があるけど、チームの開発の進め方にうまくはまれば便利な機能だな、という感じ（なんでもそうか・・・） Merge Queueって? 2023年の7月にGAになったGitHubの機能 プルリクエストをマージするときに「マージ先のブランチ（ベースブランチ）の最新の変更を取り込んでからChecks（つまりCI）を実行して、それが成功したらマージしといて！」ってお願いできる便利機能。名前のとおりQueueになっているので複数のプルリクエストからenqueueできて前から順番に処理してくれる そうは言われても最初に説明を見た僕は「？？？」状態だった。「なんでこんな機能

会議アジェンダを作るときに、見出しだけだと何も言っていないのと同じなので、中身まで書いておきましょう、という話です。 NGの例 「会議のアジェンダです！」と言って、 旅行先について しか書いていないとき、「旅行先について結局何を話すんだろう？」と思ってしまいます。 ではどうすれば良いのでしょうか？ 逆算しよう このアジェンダで会議が始まったらどうなる？というのを逆算して、会話をシミュレーションしていきましょう。 Aさん「旅行先について」 Bさん「旅行先について、、、何でしょう？」 Aさん「旅行先について相談したいです」（リクエストの明確化） Bさん「どうぞ。何でしょう？」 Aさん「どこに行きます？」（最終的に聞きたいこと） Bさん「えーと、何の話ですかね？　いつの話ですかね？　誰と行く話ですかね？　予算はどのくらいですかね？」 Aさん「年末にサークルのみんなで旅行に行く話です。あんまり高い

やさしさゴシックV2 - Bold フリーフォントのやさしさゴシックボールドV2は無料でダウンロードできる書体。商用・非商用問わず使用可能なので、安心してダウンロードしてください。タイトルロゴ、見出し向けの漢字も含まれる日本語フリーフォントになります。 【特徴】 手書きの雰囲気を残した太めのゴシック体です。かといってポップすぎず整ったデザインで無難に使える書体です。資料・Youtube・同人誌からスーパーのチラシまで幅広くお使い頂けます。 【フォントの商用利用・プログラムへの埋め込みについて】 作成した印刷物およびデジタル・コンテンツにつき、その商用・非商用にかかわらず印刷、放送、通信、各種記録メディアなどの媒体の形式も問わず、使用をすることができます。プログラムへの埋め込みが可能です。 【形式】 Format: Open Type License: フリーフォント（商用可） 収録字数：約

まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧縮されていたりします。 特に日付単位で分かれてたりすることは多いです。そこから目的のログを探し出すのは、基本はスクリプトを書くことが多いと思います。 DuckDB を使えば色々解決します。

こんにちは、MA基盤チームの田島です。私達のチームでは複数のワークフローエンジンを利用し、メールやLINEなどへの配信を含むバッチ処理を行っていました。今回それらのワークフローエンジンをすべてDigdagに統一しました。そして実行環境としてGKEのAutopilot環境を選択したことにより、柔軟にスケールするバッチ処理基盤を実現しましたのでそれについて紹介します。 また、その中で得られた運用Tipsについても合わせて紹介します。 目次 目次 Digdag on GKE Autopilotの構成 Digdagの4つの役割 Worker Scheduler Web API Kubernetes Command Executor Workerでのタスク実行の問題 Command Executor Kubernetes Command Executorの利用 GKE Autopilot環境でのKu

はじめに 基本的にWSLはキーボードからコマンドを入力する「CLI(Command Line Interface)」で操作します。そのために必要なのが「ターミナル」です。WSL自体の使いこなし方法を紹介する前に、WSLへの「窓口」となる「Windows Terminal」について解説します。 ターミナルとは 「ターミナル」あるいは「端末」とは、コンピューターに接続して入出力を行う専用機器の名称です。と言ってもピンとこない方もいるでしょうから、少し歴史的な部分から解説しましょう。 大昔のコンピューターは非常に大きく、専用の部屋に設置されていました。こうしたコンピューターまでわざわざ出向いて操作するのは面倒で不便です。そこで入力に使うキーボードと結果を表示するディスプレイだけを備えた、専用の装置が登場しました。これがターミナルです。ターミナルはシリアルケーブルなどでコンピューターと接続され、コ

At LinkedIn, we rely heavily on offline analytics for making data-driven decisions. Apache Spark provides a significant amount of the compute infrastructure powering use cases like data warehousing, data science, AI/ML, A/B testing, and metrics reporting. The scale of Spark at LinkedIn is significant with 150k+ unique jobs responsible for 300k+ executions consuming 200 petabyte-hours of compute da

AWS Big Data Blog Expand data access through Apache Iceberg using Delta Lake UniForm on AWS The landscape of big data management has been transformed by the rising popularity of open table formats such as Apache Iceberg, Apache Hudi, and Linux Foundation Delta Lake. These formats, designed to address the limitations of traditional data storage systems, have become essential in modern data architec

安心してください、日本語使えますよ―Ubuntu日本語Remix提供休止に寄せて― 2024-11-17

Practical Tips for Bootstrapping Information Extraction Pipelines

私が趣味として自宅で飼っている Kubernetes ラズパイクラスタを紹介します。ここでは工夫ポイントとして次の3点についてお話します。 → 工夫その1: HA なコントロールプレーン、MetalLB + BGP による kube-apiserver の負荷分散 → 工夫その2: モニタリング…

Google に限らず、多くの組織では、仕事のかなりの部分をチームによる共同作業で進めています。チームは真の成果を生み出す最小の単位で、画期的なアイデアが生み出され評価される場です。従業員はほとんどの仕事をチームの一員として行います。しかし、チームの対人関係に問題が生じたり、メンバーのスキルが適切でなかったり、あるいはチームとしての目標が明確でなかったりすると、生産性の低下やメンバー間の摩擦が生まれるといった問題が生じかねません。 Google のピープル アナリティクス チームは、「Project Oxygen」というリサーチ プロジェクトによって、「優れた上司の条件」を突き止めることに成功しました。このプロジェクトの成功を受けて、Google の研究者はその後、Google 社内で効果的なチームの特徴を明らかにするため、同じ手法を用いて新たなリサーチを実施しました。アリストテレスの言葉

誰かから方針を共有された時、なんだか納得できなくてモヤッとすることがある。そういう時に共有した側もされた側も不幸にならないためのお作法的な動き方があると思っていて、雑にまとめておきたい。 1. 初手でファイティングポーズを取らない 納得できないこと ≒ 背景がわからないことに対する不快感はすごくて、つい"強い"言葉を使ってしまいがち 相手も人間なので、そういった態度や口調は鏡のように反射してくる。そうすると物事を前に進めにくくなってしまう 一見して不合理な方針だと感じたとしても、その裏にはそれなりに込み入った背景がありタフな議論が積み重ねられていることも多い まずは深呼吸して初手でファイティングポーズを取りそうになるのを抑えて、「取りまとめありがとう」って感じで相手へのリスペクトを示すとよい 2. 何に納得できないか深掘りする 納得できない時、意外と自分でも何が問題なのかはっきりとわかって

とある会社の社内ポエムとして投稿していたのだが、インターネットにも置いておく。 さて自律を勝ち取るとはなんであろうか？ 仕事に関していえば、つまりそれは「主体性を持って働く」ということである。 これは先日のリモート飲み会で id:Songmu さんが仰った言葉だ。 これは自分も同意するし、特にリモートで仕事をするっていうのは分散型の働き方なので個々のメンバーが自律をする必要がある。 では自律する、主体性を持つというのはどのようなことが必要だろうか。 セルフマネージメント リモートワーク、特に非同期に仕事を進める上で重要なことはセルフマネージメントだ。 そのために必要なことを説明する。 issueから始める 別にissueじゃなくてもいいんだけど（おい）なにかにアウトプットすることがとてもとても大切だ。 作業の過程もアウトプットする。 たとえばtimesもその一つだし、githubのissu

会社のカジュアル面談に来てくれた方と話すと、自分自身考えさせられたり意見を交わして理解が深まったりする。 自分が以前に聞かれて特に面白かった質問を雑にいくつか書き出してみる。会話の中で出てきた質問なので、このままストレートに聞かれたわけではない。 いま楽しいとしんどいの割合はどのくらいですか EMをやっていた時で、しんどいが7くらいで答えたと思う 割合を答えるだけなので答えやすく、それに対してどう感じているかといった深堀った話もできて面白かった もちろん楽しい割合が多いのも素晴らしいのだけれど、ある程度しんどさもあるのが常だし真っ当だと思っていてリアルなところを聞けるいい質問だと思う 自分が入るであろうチームで一番大きい課題は何ですか 当時解決してほしい課題は明確にいくつかあったものの、実は"一番"大きい課題と聞かれるとバシッと答えられなかった 話していく中でこういうところが一番ですかねみ

こんにちは、虎の穴ラボで通販の開発をしているMです。 今回は日本で1年前に発売された「ChatGPT翻訳術　新AI時代の超英語スキルブック」という本を紹介します。 読もうと思ったきっかけ 通販サイトを英語と繁體中文に対応させる、多言語対応を実装しました。 その関係で難しかった事が「翻訳文の用意」です。 例えば、以下の文章の英語訳を用意したいとします。著名なサービスで翻訳をしてみると少し翻訳文が異なりました。 原語 DeepL翻訳 Google翻訳 マイページへようこそ。 メニューからご利用されるサービスをご選択ください。 Welcome to My Page. Please select the service you wish to use from the menu. Welcome to My Page. Please select the service you would lik