汎用言語表ç¾ãƒ¢ãƒ‡ãƒ«BERTã®å†…部動作を解明ã—ã¦ã¿ã‚‹ - Qiita100Mコーパスã§è¨“ç·´ã—ãŸBERT 500Mコーパスã§è¨“ç·´ã—ãŸBERT 2500Mコーパスã§è¨“ç·´ã—ãŸBERT BERTã®è¨“ç·´ã«ä½¿ã†ã‚³ãƒ¼ãƒ‘スサイズãŒå°ã•ã„時ã¯å˜èªžãŒå…¥ã‚Šæ··ã˜ã£ã¦åˆ†å¸ƒã—ã¦ã„ã¾ã™ãŒã€ã‚³ãƒ¼ãƒ‘スサイズを上ã’ã¦ã„ãã«ã¤ã‚Œã¦ã‚¯ãƒ©ã‚¹ã‚¿ãƒ¼åˆ†å¸ƒãŒã¯ã£ãã‚Šã—ã¦ã„ã様åãŒã‚ã‹ã‚Šã¾ã™ã€‚ åŒã˜å˜èªžã§ã‚‚一点ã«åŽæŸã›ãšã€æ–‡ç« ã®æ•°ã ã‘é•ã†ç‚¹ã«ãƒžãƒƒãƒ”ングã•ã‚Œã¦ã„ã‚‹ã®ãŒBERTã®ç‰¹å¾´ã§ã™ã€‚ãã‚Œã§ã¯å¤šç¾©èªžã¯ã©ã®ã‚ˆã†ã«ãƒžãƒƒãƒ”ングã•ã‚Œã‚‹ã‹ã‚’観察ã—ã¦ã¿ã¾ã™ã€‚ 今回ã¯ã€Œé¦–ã€ã¨ã„ã†å˜èªžã‚’マッピングã—ã¦ã¿ã‚‹ã“ã¨ã«ã—ã¾ã™ã€‚ 首ã«ã¯å¤§ãã三ã¤ã®èªžç¾©ãŒã‚ã‚Šã¾ã™ã€‚ 人体ã®ä¸€éƒ¨ã®æ„ã®ã€Œé¦–〠解雇ã€ãƒªã‚¹ãƒˆãƒ©ã®æ„ã®ã€Œé¦–〠市長ã€çŸ¥äº‹ãªã©ãƒªãƒ¼ãƒ€ãƒ¼ã®æ„ã®ã€Œé¦–〠「知事ã€ã€Œå¸‚é•·ã€ã€Œè§£é›‡ã€ã€Œé€€è·ã€ã‚’検索å˜èªžã¨ã—ã¦è¿½åŠ ã—ã¾ã™ã€‚マッピング空間ã®ä½ç½®é–¢ä¿‚ã‚’ä¿ã¤ãŸã‚ã«ã€ä¸€å€‹å‰ã®å®Ÿé¨“ã§ä½¿ç”¨ã—ãŸä¸»è¦å˜èªžã‚‚一緒ã«ç©ºé–“ã«é…ç½®ã—ã¦ãŠãã¾ã™ã€‚ 1.知事ã€å¸‚é•·ã®å‘¨ã‚Šã«
汎用言語表ç¾ãƒ¢ãƒ‡ãƒ«BERTを日本語ã§å‹•ã‹ã™(PyTorch) - Qiita
{{#tags}}- {{label}}
{{/tags}}