日本語BERTモデルをPyTorch用ã«å¤‰æ›ã—ã¦fine-tuningã™ã‚‹ with torchtext & pytorch-lightning - radiology-nlp’s blogTL;DR â‘ TensorFlow版訓練済ã¿ãƒ¢ãƒ‡ãƒ«ã‚’PyTorch用ã«å¤‰æ›ã—㟠(→方法ã ã‘èªã¿ãŸã„æ–¹ã¯ã“ã¡ã‚‰) ②①をスムーズã«ä½¿ã†ãŸã‚ã® torchtext.data.Dataset ã‚’è¨è¨ˆã—㟠③PyTorch-Lightningを使ã£ã¦ã‚³ãƒ¼ãƒ‰ã‚’çŸãã—㟠ã¯ã˜ã‚㫠日本語Wikipediaã§äº‹å‰å¦ç¿’ã•ã‚ŒãŸBERTモデルã¨ã—ã¦ã¯, 以下ã®2ã¤ãŒæœ‰åã§ã‚ã‚Š, 広ãæ™®åŠã—ã¦ã„ã¾ã™: SentencePieceベースã®ãƒ¢ãƒ‡ãƒ« (Yohei Kikuta ã•ã‚“æä¾›) TensorFlow版 Juman++ベースã®ãƒ¢ãƒ‡ãƒ« (äº¬å¤§é»’æ©‹ç ”æä¾›) TensorFlow版 PyTorch版(Hugging Face transformersæº–æ‹ ) ã“ã®ã†ã¡, SentencePieceベースã®ã‚‚ã®ã¯ç¾åœ¨TensorFlow版ã®ã¿ã®æä¾›ã¨ãªã£ã¦ãŠã‚Š, PyTorch版ã¯å˜åœ¨ã—ã¾ã›ã‚“。 ãã®ãŸã‚, ç§ã®ã‚ˆã†
Docker環境ã§PyTorch 〜画åƒè§£æžã€œ #01 環境構築編 - Qiita
{{#tags}}- {{label}}
{{/tags}}