「人間ã®åä¾›ãŒèžãé‡ã®å˜èªžã€ã®ã¿ã§å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’æ–°ãŸã«ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã™ã‚‹ãƒãƒ£ãƒ¬ãƒ³ã‚¸ã€ŒBabyLM Challengeã€ãŒé–‹å‚¬ä¸ã€èª°ã§ã‚‚挑戦å¯èƒ½ãƒãƒ£ãƒƒãƒˆAIã«ç”¨ã„られる大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã®æ€§èƒ½ã¯ã€ãƒ‘ラメーター数やトレーニングデータã®é‡ãŒå¢—ãˆã‚‹ã»ã©ä¸Šæ˜‡ã™ã‚‹ã¨ã„ã†ã®ãŒé€šèª¬ã§ã™ãŒã€ã“ã®é€šèª¬ã«åã—ã¦ã€Œå°‘ãªã„データé‡ã§é«˜æ€§èƒ½ãªè¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’作æˆã™ã‚‹ã€ã¨ã„ã†ãƒãƒ£ãƒ¬ãƒ³ã‚¸ã€ŒBabyLM Challengeã€ãŒé–‹å‚¬ã•ã‚Œã¦ã„ã¾ã™ã€‚ babylm.github.io https://babylm.github.io/ 大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã®ä½œæˆã«ãŠã„ã¦ã¯ã€ä¸€ç•ªæœ€åˆã«äº‹å‰å¦ç¿’ã¨å‘¼ã°ã‚Œã‚‹å·¥ç¨‹ãŒã‚ã‚Šã¾ã™ã€‚事å‰å¦ç¿’ã§ã¯æ–‡ç« を入力ã—ã¦ç¶šãå˜èªžã‚’当ã¦ã‚‹ã¨ã„ã†ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ãŒè¡Œã‚ã‚Œã€å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã¯ã“ã®ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã‚’通ã—ã¦æ–‡ç« を作æˆã§ãるよã†ã«ãªã‚Šã¾ã™ã€‚ トレーニングã«ç”¨ã„ã‚‹å˜èªžã®é‡ã¯å¹´ã€…å¢—åŠ ã—ã¦ãŠã‚Šã€2018å¹´ã®BERTã¯30億語ã®ãƒ‡ãƒ¼ã‚¿ã§ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã•ã‚Œã¾ã—ãŸãŒã€2019å¹´ã®RoBERTaã¯300億語ã€2020å¹´ã®GPT-3ã¯2000億語ã€ãã—ã¦2022å¹´ã®Chinch
åå¤å±‹ãƒ»å¤§é ˆè¦³éŸ³ã®ãƒãƒˆãŒã»ã‚“ã¨ã«æ€–ã„
Stable Diffusionãªã©ã®ç”»åƒç”ŸæˆAIãŒå‡ºåŠ›ã™ã‚‹ç”»åƒã«é›»åé€ã‹ã—を埋ã‚込んã§è¿½è·¡å¯èƒ½ã«ã™ã‚‹æŠ€è¡“「Tree-Ring Watermarksã€ãŒæ案ã•ã‚Œã‚‹
{{#tags}}- {{label}}
{{/tags}}