Apache Iceberg Catalogã®é¸æŠžè‚¢ - æµæ²™æ²³éŽ®
2024/6/4追記：勉強会（OTFSG #2）ã§ä»¥ä¸‹ã®è¨˜äº‹ã®å†…容を整ç†ï¼‹æƒ…å ±ã‚’è¿½åŠ ã—ãŸç™ºè¡¨ã‚’ã—ã¾ã—ãŸã€‚以下ãŒãã®æ™‚ã®ã‚¹ãƒ©ã‚¤ãƒ‰ã«ãªã‚Šã¾ã™ã®ã§ã€ä½µã›ã¦ã”å‚ç…§ãã ã•ã„ speakerdeck.com ã“ã®è¨˜äº‹ã¯ Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 ã®2日目ã®è¨˜äº‹ã§ã™ã€‚ Apache Icebergã«ãŠã„ã¦ã€Catalogã¯ãã®æ ¹å¹¹ã‚’æ‹…ã†ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã 。Icebergã®reader,writerã¯Catalogã«ã‚ˆã£ã¦ãƒ†ãƒ¼ãƒ–ルを発見ã—ã€æ•´åˆæ€§ã‚’ç¶æŒã—ãªãŒã‚‰ãƒ†ãƒ¼ãƒ–ルをæ“作ã§ãる。一方ã§Catalogを構æˆã™ã‚‹é¸æŠžè‚¢ã¯å¤šæ§˜ã§ã€è¦ä»¶ã«å¿œã˜ã¦é¸ã¶å¿…è¦ãŒã‚る。ãã“ã§æœ¬è¨˜äº‹ã§ã¯ã€Iceberg Catalogã®ä¸»ãªé¸æŠžè‚¢ã¨ç‰¹å¾´ã‚’ã¾ã¨ã‚る。 ãã‚‚ãã‚‚Icebergã£ã¦ãªã«ï¼Ÿã¨ã„ã†æ–¹ã¯ä»¥ä¸‹ã®
Apache Iceberg Catalogé¸æŠžã®ãƒ›ã‚šã‚¤ãƒ³ãƒˆ
OTFSG Tokyo Meetup #2ã®ç™»å£‡è³‡æ–™ã§ã™
Apache Iceberg ã¨ã¯ä½•ã‹ - æµæ²™æ²³éŽ®
ã¯ã˜ã‚ã« æ¦‚è¦ Apache Iceberg(アイスãƒãƒ¼ã‚°)ã¨ã¯ [é‡è¦] Icebergã®æœ¬è³ªã¯Table Specã§ã‚ã‚‹ Table Spec ãƒãƒ¼ã‚¸ãƒ§ãƒ³ Icebergãƒãƒ³ã‚ºã‚ªãƒ³ Icebergã®ç‰¹å¾´ åŒæ™‚書ãè¾¼ã¿æ™‚ã®æ•´åˆæ€§æ‹…ä¿ èªã¿å–り一貫性ã€Time Travelクエリã€Rollback Schema Evolution Hidden Partitioning Hidden Partitioningã®ç¨®é¡ž 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能ã®æœ€é©åŒ– ユースケース Icebergã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ Iceberg Catalog Iceberg Catalogã®é¸æŠžè‚¢ metadata layer metadata files manifest lists manifest f
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Easy way to move Iceberg Data using Iceberg REST Catalog
Iceberg Catalogs - Apache Icebergâ„¢
Copy of ApacheCon: Iceberg RESTCatalog
{{#tags}}- {{label}}
{{/tags}}