fastTextã§è‡ªç„¶è¨€èªž(日本語)ã®å¦ç¿’モデルを生æˆã™ã‚‹æ‰‹é †ã¾ã¨ã‚｜dot blogFacebookãŒé–‹ç™ºã—ãŸfastTextを利用ã—ã¦è‡ªç„¶è¨€èªž(Wikipediaã®æ—¥æœ¬èªžå…¨è¨˜äº‹)ã®æ©Ÿæ¢°å¦ç¿’モデルを生æˆã™ã‚‹ã¾ã§ã®æ‰‹é †ã‚’解説。ã¾ãŸç”Ÿæˆã—ãŸå¦ç¿’モデルを使ã£ã¦é¡žèªžæŠ½å‡ºã‚„å˜èªžãƒ™ã‚¯ãƒˆãƒ«ã®è¶³ã—算引ãç®—ç‰ã®æ¼”算テストを行ã†æ–¹æ³•ã¾ã§ã‚³ãƒ¼ãƒ‰ä»˜ãã§ç´¹ä»‹ã—ã¾ã™ã€‚ Pythonã“ã®è¨˜äº‹ã¯ç´„ 分ã§èªã‚ã¾ã™ã€‚（文å—） fastTextã§æ—¥æœ¬èªžã‚’機械å¦ç¿’ã•ã›ã‚‹æ‰‹é †Facebook発表ã®ã€ŽfastTextã€åˆ©ç”¨ã—ã¦æ—¥æœ¬èªžã®æ©Ÿæ¢°å¦ç¿’モデルを生æˆã™ã‚‹æ‰‹é †ã‚’解説ã—ã¦ã„ãã¾ã™ã€‚ Wikipediaã®å…¨è¨˜äº‹ã®ãƒ€ãƒ³ãƒ—データå–å¾—å¦ç¿’本ã®æ–‡ç« ã«ã¯Wikipediaを利用ã—ã¾ã™ã€‚下記URLã‹ã‚‰ã€æœ€æ–°ã®Wikipedia全記事ダンプデータをダウンãƒãƒ¼ãƒ‰ã—ã¾ã—ょã†ã€‚å–得データã¯XMLå½¢å¼ã®åœ§ç¸®ãƒ•ã‚¡ã‚¤ãƒ«ã«ãªã£ã¦ã„ã¾ã™ã€‚ Index of /jawiki/latest/ä»»æ„ã®ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã«ä¿å˜ã—ã¦ãã ã•ã„。 Wikipediaã®
FacebookãŒå…¬é–‹ã—ãŸ10億語を数分ã§å¦ç¿’ã™ã‚‹fastTextã§ä¸€ä½“何ãŒã§ãã‚‹ã®ã‹
{{#tags}}- {{label}}
{{/tags}}