仕事関係 引き続きPresto/Trinoメインでやっていましたが、今年は自分で何かやるというより他のプロジェクトを手伝ったり後方支援的なことをひたすらやり続けていました。激務というわけではなかったですが、諸々気を使うことが多かったり、あれやこれやと落…

Scalaで実装されたオープンソースのGitサーバ、GitBucket 4.42.0をリリースしました。 https://github.com/takezoe/gitbucket/releases/tag/4.42.0 今回は内部の改善が中心です。 ブランチ名の最大長を100文字から255文字に拡張 Git自体は長いブランチ名が使…

［作って学ぶ］ブラウザのしくみ──HTTP、HTML、CSS、JavaScriptの裏側 WEB+DB PRESS plus作者:土井 麻未技術評論社Amazon Rustで実際にブラウザを実装してみるというお題からして面白そうな本で発売を楽しみにしていたのですが、独自OS上のアプリケーション…

まだ実験的サポートとのことですが、Pythonユーザ定義関数は（ユーザとしては）夢が膨らみますね。また、ノードの状態としてDRAININGとDRAINが導入されたことで動的にクラスタをスケールアウト・スケールインする際、今まではスケールインでにGraceful Shutd…

Delta Lake: The Definitive Guide: Modern Data Lakehouse Architectures with Data Lakes (English Edition)作者:Lee, Denny,Wentling, Tristen,Haines, Scott,Babu, PrashanthO'Reilly MediaAmazon Delta Lakeの解説書で、Amazonで普通に買うとすごいお値…

最近すぐに煮詰まってしまうことが増えてきたり、体力的に根を詰めて作業することが辛くなってきたということもあり、仕事やプログラミング以外にも気分転換になる趣味を作ろうと思い（過去に何度もトライして挫折しているのですがw ）仕事と関係ない読書や…

Window関数やスプーリングプロトコルの改善など。また、内部通信をHTTP/2に変更したことで色々と問題が報告されており、デフォルトがHTTP/1.1に戻されています。 そういえばTrino 466で導入されたスプーリングプロトコルですが、クライアントが結果をフェッ…

今年もTrinoへのコントリビューションをまとめてみました。 去年は仕事の関係もあってバグ修正のPRなどもあったのですが、今年はIcebergコネクタなどのコードを読んでいて気付いた細かいコードの修正が多く、去年と比べて数は多いけど内容はしょぼいものが多…

長らくPRが出ていたApache Rangerプラグインがついにマージされました。 もともとTrinoのRangerプラグインは各種エンジン向けのインテグレーションの一部としてRanger側でメンテされていたのですが、RangerとTrinoのバージョンアップ速度があまりに違いすぎ…

前回から少し時間が空いたので変更内容多めです。ここ最近のリリースを見てもIcebergコネクタは力入ってる感じがありますね。コアの変更だとLarge dynamic filterがデフォルトで有効化されている点は注意が必要かもしれません。 原文はこちら: https://trino…

Accumuloコネクタが削除される一方でFaker connectorとVertica connectorが追加されました。Datafakerを使ってデータを自動生成できるFaker connectorはテストなどに便利そうです。 原文はこちら: https://trino.io/docs/current/release/release-464.html G…

内部通信でHTTP/2が有効化され、クライアントともHTTP/2で通信可能になったようです。また、Delta LakeでDeletion vector有効時にCDFがおかしくなる問題が修正されたようです。 原文はこちら: https://trino.io/docs/current/release/release-463.html Gener…

ついにリリース間隔が一週間を切ってきました。Database resource group managerで動的にグループの設定を変更した場合に色々問題があったのが修正されているみたいです。 原文はこちら: https://trino.io/docs/current/release/release-462.html General Da…

ここのところTrinoのリリースが週次ペースなのですが、その分一回の分量は控えめなのでどちらが楽なのか…。UIの改善はわかりやすくて良いですね。 原文はこちら: https://trino.io/docs/current/release/release-461.html General 実装にあわせてコンフィギ…

ここのところ非推奨クラス、メソッドの削除やあまり使われてなさそうなコネクタの廃止といったクリーンアップが目立ちますね。 原文はこちら: https://trino.io/docs/current/release/release-460.html General 外部シンボルを参照するLambda式を含むクエリ…

原文はこちら: https://trino.io/docs/current/release/release-459.html General FTEモード（retry_policyがTASK）かつadaptive join reorderingが有効な場合に発生する可能性のあるエラーを修正 (#23407) Docker image JavaランタイムをJava 23にアップデ…

BRUNO 電動ミルコーヒーメーカー BOE080 [ ベージュ ]BRUNOAmazon 普段はコーヒー屋さんで挽いてもらった豆をペーパーフィルターでドリップしているのですが、たまたまいい感じのコーヒー豆を入手する機会があり、ミルを持っておらず自分で挽けないので飲め…

予想はしていましたが、やはりこの頻度はまあまあきつい…。あと細かい改善やリファクタリング、バグ修正などはリリースノートに載らないのでcoreや使っているコネクタだけでもコミットログまでちゃんと見ないとダメかも。 原文はこちら: https://trino.io/do…

Trino 456はリリースプロセスの問題で不正なアーティファクトが生成されてしまったようでスキップされたみたいです。 原文はこちら: https://trino.io/docs/current/release/release-457.html General CPU、メモリ使用量、スケジューリングポリシーなどリソ…

Trinoのリリースノートはなるべくチェックするようにしているのですが、せっかくチェックしているので日本語訳（リリースノートだけだとよくわからなかったものに関しては変更内容を確認して書き換えたりしています）を載せておくのをやってみようかと思いま…

以前Presto/Trinoでのサブクエリ重複実行問題について書いたのですが、 takezoe.hatenablog.com その後調べたところ、最近のバージョンのPrestoDBではCTEの最適化機能が実装されているようなので少し調べてみました。 以下は公式サイトのCTE最適化機能に関す…

Amateras ModelerをGitHubに移して数年が経ちますが、最新のEclipseで動くようにするために久しぶりに少し手を入れたついでに折角なのでGitHub ActionsでCIできないかなと思い調べてみました。 Eclipse Tychoを使うとMavenでEclipseプラグインなどのOSGiバン…

ミケル・アルテタ アーセナルの革新と挑戦作者:チャールズ・ワッツ平凡社Amazon 世界初のアルテタ本の翻訳とのことで、アルテタのアーセナル監督就任前夜から2022-23シーズンまでの歩みを記録した書籍です。 アルテタ本となってはいますがこの5年のアーセナ…

チームトポロジー 価値あるソフトウェアをすばやく届ける適応型組織設計作者:マシュー・スケルトン,マニュエル・パイス日本能率協会マネジメントセンターAmazon ふと思い立って今更読んでみたのですが、4タイプのチームと3タイプのコミュニケーションという…

Trinoには標準でIcebergコネクタが付属しており、Icebergテーブルを読み書きすることができます。カタログの形式としては以下のものがサポートされています。 hive_metastore glue jdbc rest nessie snowflake この他にドキュメントには書かれていないのです…

github.com 今回も自分は何もしてなくてリリース作業をしただけですが、以下のServlet 6.0/Jetty 12.0.9対応が取り込まれています。 github.com 対応のServletバージョンが上がるので3.0 -> 3.1へのバージョンアップとなりましたが、機能的にはScalatra 3.0…

github.com だいぶ時間がかかっていましたがついにマージされたようです。event-listeners-openlineageというプラグインとして提供され、有効にするとイベントリスナからOpenLineageサーバにLineageイベントを送信できるようになります。一応原作者というこ…

Scalaで実装されたオープンソースのGitサーバ、GitBucket 4.41.0をリリースしました。 https://github.com/takezoe/gitbucket/releases/tag/4.41.0 このバージョンでの大きな変更および新機能は以下の通りです。 プルリクエストのUIをシンプルに プルリクエ…

Apache Spark徹底入門作者:Jules S. Damji,Brooke Wenig,Tathagata Das,Denny Lee翔泳社Amazon 翔泳社さんの徹底入門シリーズですが、オライリーのLearning Spark 2nd Editionの邦訳のようです。以前原著を読んだ時にレビューを書いたのですが、Sparkを触る…

分散SQLクエリエンジンTrino徹底ガイド作者:Matt Fuller,Manfred Moser,Martin Traverso秀和システムAmazon オライリーから出ているTrino: The Definitive Guideの翻訳だそうです。以前から風の噂で翻訳しているという話を聞いてはいたのですが、ついに発売…