Pythonã§CSVを高速＆çœãƒ¡ãƒ¢ãƒªã«èªã¿ãŸã„ - tkm2261's blog今日ã¯Python (Pandas)ã§é«˜é€Ÿã«CSVã‚’èªã‚€ã“ã¨ã«æŒ‘戦ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ Kaggleã«å‚åŠ ã™ã‚‹ãŸã³ã«ã€ã‚¤ãƒ©ã‚¤ãƒ©ã—ã¦ã„ãŸã®ã§å„実装ã®ç™½é»’ã¯ã£ãã‚Šã•ã›ã‚ˆã†ã¨æ€ã„ã¾ã™ã€‚ R使ã„ãŒç¾¨ã¾ã—ã„ãªãã¨æ€ã†ç¬¬ä¸€ä½ãŒCSVèªè¾¼ãŒç°¡å˜ã«ä¸¦åˆ—出æ¥ã¦é€Ÿã„ã“ã¨ãªã®ã§ã€ ãªã‚“ã¨ã‹GILã®ã‚ã‚‹Pythonã§ã‚‚高速ã«èªã¿è¾¼ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ ãŸã ã€ã“ã®æ¤œè¨¼ã§ã¯ã‚³ãƒ¼ãƒ‡ã‚£ãƒ³ã‚°é‡ãŒå¤šã„ã‚‚ã®ã¯æ¤œè¨¼ã—ã¾ã›ã‚“。 CSVèªè¾¼ã¯é »å‡ºã™ã‚‹ã®ã§ã€ãƒ•ãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã®è»½ã•ãŒé‡è¦ã§ã™ã€‚（オレオレライブラリ嫌ã„） Pickleã¯æ—©ã„ã‘ã©ã€‚。。 çµè«–ã¯Dask使ãŠã†ï¼ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
{{#tags}}- {{label}}
{{/tags}}