CCMatrix: A billion-scale bitext dataset for training translation models
CCMatrix: A billion-scale bitext dataset for training translation models What it is:CCMatrix is the largest dataset of high-quality, web-based bitexts for training translation models. With more than 4.5 billion parallel sentences in 576 language pairs pulled from snapshots of the CommonCrawl public dataset, CCMatrix is more than 50 times larger than the WikiMatrix corpus that we shared last year.
日本å¤å…¸ç±ããšã—å—データセット
ライセンス 『日本å¤å…¸ç±ããšã—å—データセットã€ï¼ˆå›½æ–‡å¦ç ”究資料館ã»ã‹æ‰€è”µï¼æƒ…å ±ãƒ»ã‚·ã‚¹ãƒ†ãƒ ç ”ç©¶æ©Ÿæ§‹ データサイエンス共åŒåˆ©ç”¨åŸºç›¤æ–½è¨ 人文å¦ã‚ªãƒ¼ãƒ—ンデータ共åŒåˆ©ç”¨ã‚»ãƒ³ã‚¿ãƒ¼åŠ 工）ã¯ã‚¯ãƒªã‚¨ã‚¤ãƒ†ã‚£ãƒ–・コモンズ 表示 - 継承 4.0 国際 ライセンス（CC BY-SA）ã®ä¸‹ã«æä¾›ã•ã‚Œã¦ã„ã¾ã™ã€‚ データセット全体をã”利用ã®éš›ã«ã¯ã€ä¾‹ãˆã°ä»¥ä¸‹ã®ã‚ˆã†ãªè¡¨ç¤ºã‚’ãŠé¡˜ã„ã—ã¾ã™ã€‚個別ã®å¤å…¸ç±ã®ã¿ã‚’ã”利用ã®å ´åˆã«ã¯ã€ãã‚Œãžã‚Œã®ãƒšãƒ¼ã‚¸ã‚’ã”覧下ã•ã„。 『日本å¤å…¸ç±ããšã—å—ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã€ ï¼ˆå›½æ–‡ç ”ã»ã‹æ‰€è”µï¼CODHåŠ å·¥ï¼‰ doi:10.20676/00000340 å¯èƒ½ãªå ´åˆã¯ã€ãƒ‡ãƒ¼ã‚¿æ供元ã§ã‚ã‚‹ROIS-DS人文å¦ã‚ªãƒ¼ãƒ—ンデータ共åŒåˆ©ç”¨ã‚»ãƒ³ã‚¿ãƒ¼ã¸ã®ãƒªãƒ³ã‚¯ã‚’ãŠé¡˜ã„ã—ã¾ã™ã€‚ æ供：ROIS-DS人文å¦ã‚ªãƒ¼ãƒ—ンデータ共åŒåˆ©ç”¨ã‚»ãƒ³ã‚¿ãƒ¼ データæ供方法・注æ„äº‹é … 書ç±ã”ã¨ã«å—形をã¾ã¨ã‚ãŸZIPファイルã€ãŠã‚ˆã³å…¨éƒ¨ã‚’ã¾ã¨ã‚ãŸZI
1
ランã‚ング
ランã‚ング
メンテナンス
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Thomas Wolf on Twitter: "Surviving every AI wave, two kernels have consistently been the beating hearts of Natural Language Processing: Dat… https://t.co/heOt3pzUOA"
{{#tags}}- {{label}}
{{/tags}}