[MySQL][Python]8000万レコードをInsertã™ã‚‹ | Momentumæ¦‚è¦ ãƒ»ã¨ã‚る物件ã§8000万弱ã®ãƒ¬ã‚³ãƒ¼ãƒ‰ã‚’æ–°è¦ã®DBã«åŠ¹çŽ‡çš„ã«ã¶ã¡è¾¼ã‚€æ–¹æ³•ã‚’考ãˆã‚‹å¿…è¦ã« ・MySQL(Amazon RDS) + Python(mysql.connector)を想定 ・mysql.connector + pythonã«ã¤ã„ã¦ã¯æ‹™æ–‡ãªãŒã‚‰(http://nekopuni.holy.jp/?p=927)ã«æ›¸ã„ã¦ãŠã‚Šã¾ã™ã€‚ ・コミットã®ä½ç½®ã«ã¯æ°—ã‚’ã¤ã‘よㆠ+ Multiple Insert最強ãã¨ã„ã†ãŠè©±ã€‚ 方法ãã®1 ã¾ãšã¯æœ€åˆã«ã‚„ã£ãŸæ–¹æ³•ã€‚1レコードã”ã¨ã«Insertã—ã¦ã‚³ãƒŸãƒƒãƒˆã—ã¦ã„ã方法。 今ã¾ã§DB関連ã§ã‚„ã£ãŸã‚³ãƒ¼ãƒ‰ã¯ãƒ¬ã‚³ãƒ¼ãƒ‰é‡ã‚‚大ã—ãŸã“ã¨ãªã‹ã£ãŸã®ã§ä»¥ä¸‹ã®æ–¹æ³•ã§ã‚‚特ã«å•é¡Œãªã‹ã£ãŸã€‚ 具体的ãªç’°å¢ƒã¨ã—ã¦ã¯ãƒ†ã‚ストデータ(csv)ã‚’èªã¿è¾¼ã¿ã€ãれをDBã«Insertã—ã¦ã„ãã¨ã„ã†ã‚‚ã®ã€‚ csvã®ä¸èº«ã¯æ—¥ä»˜(DATE)ã¨ãƒ‡ãƒ¼ã‚¿å€¤(VALUE)ãŒã‚«ãƒ³ãƒžåŒºåˆ‡ã‚Šã«ãªã£ã¦ã„
MongoDBã§ä½ç½®æƒ…å ±ãŠæ‰‹è»½æ¤œç´¢ã€‚ã‚ã¨ã¤ã„ã§ã«Python
{{#tags}}- {{label}}
{{/tags}}