Dive into Apache Arrow（ãã®ï¼“）- SSD-to-GPU Direct SQL対応 - KaiGaiã®ä¿ºãƒ¡ãƒ¢
ã“ã“最近å–り組んã§ã„㟠Arrow_Fdw 機能ãŒã‚ˆã†ã‚„ãå‹•ãよã†ã«ãªã£ãŸã®ã§ã€æ€§èƒ½ãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ã‚’è¡Œã£ã¦ã¿ãŸã€‚ 今回ã®ã‚¨ãƒ³ãƒˆãƒªã§ã¯é †ã‚’追ã£ã¦èª¬æ˜Žã™ã‚‹äº‹ã«ã—ã¦ã¿ãŸã„。 Arrow_Fdwã¨ã¯ PostgreSQLã«ã¯FDW (Foreign Data Wrapper) ã¨ã„ã†æ©Ÿèƒ½ãŒã‚ã‚Šã€PostgreSQL管ç†ä¸‹ã«ã‚るデータ（テーブルãªã©ï¼‰ã ã‘ã§ãªãã€å¤–部ã®ãƒ‡ãƒ¼ã‚¿ã‚½ãƒ¼ã‚¹ã‚’ã‚ãŸã‹ã‚‚テーブルã§ã‚ã‚‹ã‹ã®ã‚ˆã†ã«èªã¿å‡ºã™äº‹ãŒã§ãる。一部ã®ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã§ã¯æ›¸è¾¼ã¿ã«ã‚‚対応ã—ã¦ã„る。 例ãˆã°ã€CSVファイルã¯æ§‹é€ 化データを表ç¾ã™ã‚‹ãŸã‚ã®æ–¹æ³•ã®ä¸€ã¤ã§ã‚る。もã¡ã‚ã‚“ã€PostgreSQLã®å†…部形å¼ã¨ãƒ‡ãƒ¼ã‚¿å½¢å¼ãŒé•ã†ã®ã§ã€ãã®ã¾ã¾ã§ã¯ã‚³ãƒ¬ã‚’SQLã®ä¸–ç•Œã‹ã‚‰å–り扱ã†äº‹ãŒã§ããªã„ãŒã€é–“ã«file_fdwã¨ã„ã†ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ãŒä»‹åœ¨ã™ã‚‹äº‹ã§ã€CSV⇒PostgreSQLã®å†…部形å¼ã¸ã¨ãƒ‡ãƒ¼ã‚¿å½¢å¼ã‚’変æ›ã—ã¦ã„る。 ã“ã®æž 組ã¿ã¯å¤šç¨®
é«˜è² è·ã‚·ã‚¹ãƒ†ãƒ ã§NVMeデãƒã‚¤ã‚¹ä½¿ç”¨æ™‚ã®fstrimã¨discard mount optionã®è©± - ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
å…ˆã«ã¾ã¨ã‚る㨠ディスクI/Oã«é«˜ã„è² è·ã‚’ã‹ã‘るシステムã§NVMeデãƒã‚¤ã‚¹ã‚’使ã†ã¨ãweekly cron jobã§fstrimãŒèµ°ã‚‹çŠ¶æ³ã«ãªã£ã¦ãŸã‚‰åœæ¢ã—ã‚ ã˜ã‚ƒãªã„ã¨fstrimãŒèµ°ã£ãŸçž¬é–“ã«I/OパフォーマンスãŒåˆºã•ã£ã¦æ»ã¬ fstrimã‚’åœæ¢ã™ã‚‹ãªã‚‰discard mount optionを有効化ã—ã‚ã€ãŸã ã—ãã®çŠ¶æ…‹ã§ã®I/O性能ã§å•é¡Œãªã„ã‹ã©ã†ã‹æ¸¬ã£ã¦ãŠã‘ discard mount optionを有効化ã—ã¦ã‚‚大ãã„ファイルã®å‰Šé™¤ã«ã¯æ°—ã‚’ã¤ã‘ã‚ã€ãƒ—ãƒfstrimã¿ãŸã„ã«ãªã‚‹ãž 追記ã•ã‚Œã‚‹ã°ã‹ã‚Šã§å¤§ãããªã‚‹ãƒ•ã‚¡ã‚¤ãƒ«(ãã—ã¦å‰Šé™¤ã•ã‚Œã‚‹ãƒ•ã‚¡ã‚¤ãƒ«)ã¯NVMeã˜ã‚ƒãªã„デãƒã‚¤ã‚¹ã«ç½®ã„ã¨ã‘ 高I/Oスループットを期待ã™ã‚‹ã‚·ã‚¹ãƒ†ãƒ ã§ã®NVMeã¨fstrim 社内ã§å°ã•ã‚ã®ã‚¤ãƒ³ã‚¹ã‚¿ãƒ³ã‚¹ã‚’多ã並ã¹ã¦ãƒˆãƒ©ãƒ•ã‚£ãƒƒã‚¯ã‚’æŒã„ã¦ãŸã®ã‚’色々è¦ä»¶ãŒã‚ã£ã¦å¤§ãã‚ã®ã‚¤ãƒ³ã‚¹ã‚¿ãƒ³ã‚¹ã«ã¾ã¨ã‚るよã†ãªã‚·ã‚¹ãƒ†ãƒ アップデートをや
エンタープライズSSDインターフェイスã®æ¯”較
ã¯ã˜ã‚ã« PCI Express（PCIe）ã¯ã€ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã¨ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ両者ã®ã‚³ãƒ³ãƒ”ュー ティング・アプリケーションã§ä½¿ç”¨ã•ã‚Œã‚‹å¤šç›®çš„ãƒã‚¹ãƒ»ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ•ã‚§ã‚¤ã‚¹ã§ã™ã€‚ æ—¢å˜ã®å¤§å®¹é‡è¨˜æ†¶è£…置インターフェイス（SATAã€SAS）ã®å ´åˆã€PCIeインター フェイスã«æŽ¥ç¶šã™ã‚‹ãƒ›ã‚¹ãƒˆãƒ»ã‚¢ãƒ€ãƒ—ã‚¿ã«ã‚ˆã£ã¦ã€ãƒ›ã‚¹ãƒˆãƒ»ã‚³ãƒ³ãƒ”ュータã«æŽ¥ç¶šã— ã¾ã™ã€‚ SATAインターフェイスã¯ãƒãƒ¼ãƒ‰ãƒ‡ã‚£ã‚¹ã‚¯ãƒ»ãƒ‰ãƒ©ã‚¤ãƒ– (HDD) インターフェイス㨠ã—ã¦è¨è¨ˆã•ã‚ŒãŸã®ã«å¯¾ã—ã€SASインターフェイスã¯ãƒ‡ãƒã‚¤ã‚¹ãƒ»ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ•ã‚§ã‚¤ã‚¹ ã¨ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ãƒ»ã‚µãƒ–システム・インターフェイス/インフラストラクãƒãƒ£ã¨ã—ã¦è¨ 計ã•ã‚Œã¾ã—ãŸã€‚より高速ãªã‚¤ãƒ³ã‚¿ãƒ¼ãƒ•ã‚§ã‚¤ã‚¹ã¨æ–°æ©Ÿèƒ½ã‚’å¿…è¦ã¨ã—ãªãŒã‚‰HDDã‚„ã‚· ステムã®è¦ä»¶ãŒé€²åŒ–ã™ã‚‹ä¸ã€SATAインターフェイスã¨SASインターフェイス㫠ã¯å¹¾ãŸã³ã‚‚改良ãŒæ–½ã•ã‚Œã¦ã„ã¾ã™ã€‚ ソリッド・ステート・ドライブ (SSD)
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
https://media.licdn.com/dms/document/media/D561FAQH0WEtKt_7nzQ/feedshare-document-pdf-analyzed/0/1687038227679?e=1687996800&v=beta&t=69UXK5x7zGTNCjRFk3tqnKRTUa0yz96rK1T_T8oHw6s
{{#tags}}- {{label}}
{{/tags}}