DuckDB as the New jq
Recently, I’ve been interested in the DuckDB project (like a SQLite geared towards data applications). And one of the amazing features is that it has many data importers included without requiring extra dependencies. This means it can natively read and parse JSON as a database table, among many other formats. I work extensively with JSON day to day, and I often reach for jq when exploring document
DuckDB雑紹介(1.1対応版)@DuckDB座談会
2024å¹´6月ã«ç™ºè¡¨ã—ãŸ(https://speakerdeck.com/ktz/duckdbza-shao-jie)内容ã«DuckDB ãƒãƒ¼ã‚¸ãƒ§ãƒ³1.1ã®å¤‰æ›´ç‚¹ã‚’追記ã—ãŸç‰ˆ
DuckDBã§ãŠæ‰‹è»½ï¼ãƒ‡ãƒ¼ã‚¿ãƒ•ã‚§ãƒ‡ãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³ - Techtouch Developers Blog
tl;dr ã¯ã˜ã‚ã« DuckDB ã¨ã¯ DuckDB ã§ã¯ä½•ãŒèªã‚ã‚‹ã®ã‹ 使ã£ã¦ã¿ã‚‹ S3 上ã®JSON ã‚’èªã‚“ã§ã¿ã‚‹ リレーショナルデータベース 他ツールã§ã¯ãªã DuckDB を使ã†ãƒ¡ãƒªãƒƒãƒˆ ã—ãã˜ã‚Šãƒã‚¤ãƒ³ãƒˆ （特ã«ãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã°ã‹ã‚Šã®ï¼‰ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã«ã¯æ°—ã‚’ã¤ã‘ã‚‹ S3 ã®ã‚ªãƒ–ジェクト数ãŒå¤šã„å ´åˆä¸éƒ½åˆãŒã‚ã‚ŠãŒã¡ スレッドã®èª¿æ•´ãŒå¿…è¦ãªå ´åˆã‚‚ Redshift ã«ã¯æœªå¯¾å¿œ 終ã‚り㫠付録 MySQL ã®ãƒ‡ãƒ¼ã‚¿ã‚’èªã¿è¾¼ã‚€ä¾‹ã® MySQL å´ã®æº–å‚™ tl;dr DuckDB 便利ã よ。分æžä»¥å¤–ã§ã‚‚使ãˆã‚‹ã‚ˆ 色々ãªå ´æ‰€ã®ãƒ‡ãƒ¼ã‚¿ã‚’閲覧・çµåˆã§ãるよ。標準SQLも使ãˆã‚‹ã‚ˆ ãŸã ã—ã€ç´°ã‹ã„è½ã¨ã—ç©´ã¯è‰²ã€…ã‚ã‚‹ã®ã§æ°—ã‚’ã¤ã‘ã¦ã ã¯ã˜ã‚ã«2023å¹´4月ã«ãƒ‡ãƒ¼ã‚¿ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã¨ã—ã¦å…¥ç¤¾ã—ãŸmin（@not_rogue）ã§ã™ã€‚æš–ã‹ããªã‚‹ã«ã¤ã‚Œã€YouTube ã§è¦‹ãŸå—伊豆ãƒãƒ³ã‚°ãƒˆãƒ¬ã‚¤ãƒ« | æ¾å´Žç”ºã«è¡Œãæ©Ÿé‹ãŒ
AWS Athenaã®å®‰ä¾¡ãªä»£æ›¿æ‰‹æ®µï¼šLambda x DuckDB - Qiita
Athena Amazon Athenaã¯ã€æ¨™æº–SQLを使用ã—ã¦Amazon S3ã«ä¿å˜ã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã‚’分æžã™ã‚‹ã“ã¨ãŒã§ãã‚‹ã€å¼·åŠ›ã§ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ã€ã‚¤ãƒ³ã‚¿ãƒ©ã‚¯ãƒ†ã‚£ãƒ–ãªã‚¯ã‚¨ãƒªã‚µãƒ¼ãƒ“スã§ã™ã€‚複雑ãªETLパイプラインやデータウェアãƒã‚¦ã‚¹ã‚’è¨å®šã—ã¦ç®¡ç†ã™ã‚‹å¿…è¦ãŒãªãã€å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’処ç†ã™ã‚‹çµ„ç¹”ã«ã¨ã£ã¦é…力的ãªã‚ªãƒ—ションã§ã™ã€‚ãŸã ã—ã€Athenaã®ä¾¡æ ¼è¨å®šã¯ã€äºˆç®—ãŒåŽ³ã—ã„å ´åˆãªã©ã€ã™ã¹ã¦ã®ãƒ¦ãƒ¼ã‚¶ãƒ¼ã«é©ã—ã¦ã„ã‚‹ã‚ã‘ã§ã¯ã‚ã‚Šã¾ã›ã‚“。ã“ã®ãƒ–ãƒã‚°æŠ•ç¨¿ã§ã¯ã€Athenaã®ä»£æ›¿ã¨ãªã‚‹ã€ä½Žã‚³ã‚¹ãƒˆã§åŒç‰ã®æ©Ÿèƒ½ã‚’æä¾›ã§ãるアルティメットを紹介ã—ã¾ã™ã€‚ 利点: Athenaã®ä¸»ãªåˆ©ç‚¹ã®1ã¤ã¯ã€Amazon S3ã®ãƒ‡ãƒ¼ã‚¿ã‚’ã€è¤‡é›‘ãªETLプãƒã‚»ã‚¹ã‚„専用ã®ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ãªã—ã«ã€æ¨™æº–SQLクエリを使用ã—ã¦åˆ†æžã§ãã‚‹ã“ã¨ã§ã™ã€‚ Athenaã¯ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ã§ã‚‚ã‚ã‚Šã€ãƒ‡ãƒ¼ã‚¿é‡ã‚„クエリã®è¤‡é›‘ã•ã«åŸºã¥ã„ã¦è‡ªå‹•çš„ã«ã‚¹ã‚±ãƒ¼ãƒ«ã•ã‚Œã‚‹ãŸã‚ã€äº‹å‰
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}