ChatGPTã®10ヶ月ã¨é–‹ç™ºãƒˆãƒ¬ãƒ³ãƒ‰ã®ç¾åœ¨åœ°
9/28ã® #日本CTOå”会 ã•ã‚“ã®ã‚¤ãƒ™ãƒ³ãƒˆã§ç™»å£‡ã—ãŸè³‡æ–™ã‚’公開ã—ã¾ã—ãŸã€‚ 「ChatGPTã®10ヶ月ã¨é–‹ç™ºãƒˆãƒ¬ãƒ³ãƒ‰ã®ç¾åœ¨åœ°ã€ 開発ã®ãƒˆãƒ¬ãƒ³ãƒ‰ã®æœ€æ–°æƒ…å ±ã‚’ã–ã£ãã‚Šçºã‚ã¦ã„ã¾ã™ã€‚ ・Prompt Engineering開発ã®ç¾åœ¨åœ° ・RAG開発ã®ç¾åœ¨åœ° ・Plugin開発ã®ç¾åœ¨åœ° ・GPT-V…
Swallow: LLaMA-2 日本語継続事å‰å¦ç¿’モデル
ã¯ã˜ã‚ã« æ±äº¬å·¥æ¥å¤§å¦ æ¨ªç”°ç ”ç©¶å®¤ã®è—¤äº•ã§ã™ã€‚ 本日(2023/12/19)Llama 2ã‹ã‚‰æ—¥æœ¬èªžç¶™ç¶šäº‹å‰å¦ç¿’ã‚’è¡Œã£ãŸSwallow-7B, Swallow-13B, Swallow-70Bをリリースã•ã›ã¦é ‚ãã¾ã—ãŸã€‚ 本モデルã®é–‹ç™ºã¯ã€ç”£ç·ç ”ã€æ±äº¬å·¥æ¥å¤§å¦ å²¡å´Žç ”ç©¶å®¤ã€æ¨ªç”°ç ”究室ã®åˆåŒãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã«ã¦è¡Œã‚ã‚Œã¾ã—ãŸã€‚å…¬å¼ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆãƒšãƒ¼ã‚¸ã¯ã“ã¡ã‚‰ã§ã™ã€‚ Swallow-70Bã¯ã‚ªãƒ¼ãƒ—ンãªæ—¥æœ¬èªžãƒ¢ãƒ‡ãƒ«ã«ãŠã„ã¦æœ€é«˜ã®æ—¥æœ¬èªžæ€§èƒ½ã‚’記録ã—ã¾ã—ãŸã€‚ (後述ã®ãƒ¢ãƒ‡ãƒ«è©•ä¾¡ã‚»ã‚¯ã‚·ãƒ§ãƒ³ã‚’å‚ç…§ã®ã“ã¨) リリースモデル 日本語継続事å‰å¦ç¿’済ã¿ãƒ¢ãƒ‡ãƒ« Swallow-7B Swallow-13B Swallow-70B 上記モデルã«æŒ‡ç¤ºãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã‚’æ–½ã—ãŸãƒ¢ãƒ‡ãƒ« Swallow-7B-instruct Swallow-13B-instruct Swallow-70B-instruct 本記事ã§ã¯ã€Swallow
プãƒãƒ³ãƒ—トエンジニアリングã¯å…¬å¼ã‚¬ã‚¤ãƒ‰ã‚’å‚考ã«ã—よã†ï¼ˆOpenAI・Microsoft・Google）｜Martin
ã“ã®è¨˜äº‹ã®è¦ç´„ ・プãƒãƒ³ãƒ—トエンジニアリングã¨ã¯ã€AIã«å¯¾ã—ã¦åŠ¹æžœçš„ãªæŒ‡ç¤ºã‚’出ã™ãŸã‚ã®ã‚¹ã‚ルã§ã‚る。 ・OpenAI, Microsoft, Googleã®å…¬å¼ã‚¬ã‚¤ãƒ‰ã‚„解説記事ã€å®Ÿä¾‹ãªã©ã‚’å‚考ã«ã—ã¦ã„る。 GPT-4ã«ã‚ˆã‚‹è¦ç´„ã“ã‚“ã«ã¡ã¯ã€Martinã§ã™ã€‚プãƒãƒ³ãƒ—トエンジニアリングã«é–¢ã™ã‚‹æƒ…å ±ã¯ã€æœ€è¿‘å…¬å¼ã®ã‚¬ã‚¤ãƒ‰ãŒã ã„ã¶ãã‚ã„ã¤ã¤ã‚ã‚Šã¾ã™ã€‚ãã®ãŸã‚ã€è‡ªåˆ†ã®ãƒ¡ãƒ¢ç”¨ã¨ã—ã¦ãƒªãƒ³ã‚¯ã‚’ã¾ã¨ã‚ã¦ãŠãã¾ã™ã€‚自分ã¨åŒã˜ã‚ˆã†ã«ã€ãƒ—ãƒãƒ³ãƒ—トエンジニアリングã®æ£ã—ã„ã‚„ã‚Šæ–¹ãŒæ°—ã«ãªã£ã¦ã„る人ã¯å¤šã„ã‹ã¨æ€ã„ã¾ã™ã€‚プãƒãƒ³ãƒ—トエンジニアリングã«ã¯ã€ç‹¬è‡ªã®ã„ã‚ã‚“ãªæƒ…å ±ãŒæ°¾æ¿«ã—ã¦ã„ã¾ã™ãŒã€ãれらを見るå‰ã«ã¾ãšã¯å…¬å¼ã®æƒ…å ±ã‚’çŸ¥ã‚ŠãŸã„ã§ã™ã‚ˆã。 別ã«ãƒ—ãƒãƒ³ãƒ—トエンジニアリングをマスターã—ãŸã¨ã“ã‚ã§è¶…人ã«ãªã‚Œã‚‹ã‚ã‘ã§ã¯ãªã„ã§ã™ãŒã€ChatGPTã¨è©±ã—ã¦ã„ã¦ã€ã“ã®æ›¸ãæ–¹ã§ã„ã„ã®ã‹ï¼Ÿã‚„ã€ãƒ™ã‚¹ãƒˆãªèžã方をã§ãã¦ã„ã‚‹ã®ã‹ï¼ŸãŒã¤ã„ã¤ã„æ°—ã«
FlutterKaigi 2023ã®ç™»å£‡è³‡æ–™ã¾ã¨ã‚ - Qiita
ã“ã‚“ã«ã¡ã‚。ã„ã›ã‚Šã‚…ーã§ã™ã€‚ 2023/11/10ã«ã‚ã£ãŸFlutterKaigiã§ã®ç™»å£‡è³‡æ–™ã‚’ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸï¼ï¼ ç¾æ™‚点（2023/11/10ã®ï¼‘８時）ã§ã®åƒ•ãŒè¦‹ã¤ã‘ãŸç¯„囲を載ã›ã¦ã„ã‚‹ã®ã§ã€å¾Œæ—¥æ•´ç†ã—ãŸã‚Šè¿½åŠ ã®è³‡æ–™ãŒã‚ã‚Šã¾ã—ãŸã‚‰è¨˜è¼‰äºˆå®šã§ã™ðŸ™‡ å…¬å¼ã‚µã‚¤ãƒˆ å…¬å¼ã‚¢ãƒ—リ アンケート（ã¿ã‚“ãªã€å›žç”ã—ã¦ã🙇） 資料一覧 Add Material touch ripples by æ ªå¼ä¼šç¤¾ãƒŠãƒ“タイムジャパン / æ¾æ‘ 航裕ã•ã‚“ in æ±æ€¥(æ ª) URBAN HACKS 11:00~ Flutter アプリã«ãŠã‘るテスト戦略ã®è¦‹ç›´ã—ã¨è‡ªå‹•ãƒ†ã‚¹ãƒˆã®å°Žå…¥ by ãŠã•ãŸãã•ã‚“ in âš”ï¸â€ ††開拓者ã®éƒ¨å±‹â€ â€ â€ ðŸ›¡ï¸ 11:00~ Dartã«ã‚ˆã‚‹BFF構築・é‹ç”¨ 〜Dart Frog×melos〜 by ã‚‚ãã‚‚ãã•ã‚“ / K9iã•ã‚“ in æ±æ€¥(æ ª) URBAN HACKS 14:30~ Maste
Othello is Solved 論文解説 (ç§è¦‹) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今æœèµ·ããŸã‚‰ã€ã¨ã‚“ã§ã‚‚ãªã„論文を見ã¤ã‘ã¾ã—ãŸã€‚ Othello is Solved ゲーム㮠オセãƒãŒ"解ã‹ã‚ŒãŸ(弱解決)" ã¨ã„ã†ã®ã§ã™ã€‚飛ã³èµ·ãã¾ã—ãŸã€‚ãã‚Œã§ã€16時ã¾ã§äºŒåº¦å¯ã—ã¦ã‹ã‚‰èªã¿ã¾ã—ãŸã€‚ 注æ„ã™ã¹ãã¯ã€ã“ã®è«–æ–‡ãŒæŸ»èªã‚’経ã¦å…¬é–‹ã•ã‚Œã¦ã„ã‚‹ã‚ã‘ã§ã¯ãªã„ã“ã¨ã€ã¤ã¾ã‚Šå½¢å¼ä¸Šç‰¹ã«ãƒã‚§ãƒƒã‚¯ã‚’å—ã‘ãŸã‚‚ã®ã§ã¯ãªã„ã“ã¨ã§ã™ã€‚ãŸã ã€ã‚¿ã‚¤ãƒˆãƒ«ã‹ã‚‰ã—ã¦éžå¸¸ã«è¡æ’ƒçš„ã§ã™ã®ã§ã€å€‹äººçš„ã«èªã‚“ã§ã¿ã¾ã—ãŸã€‚ã“ã®è¨˜äº‹ã§ã¯ã€ç§ãŒã“ã®è«–æ–‡(ãŠã‚ˆã³ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰)ã‚’èªã‚“ã§ã‚ã‹ã£ãŸã“ã¨ã‚’ã€ãªã‚‹ã¹ãã‚ã‹ã‚Šã‚„ã™ãã¾ã¨ã‚ã¾ã™ã€‚éšæ™‚æ›´æ–°ã—ã¾ã™ã€‚ 余談ã§ã™ãŒã€ã“ã®ã‚¿ã‚¤ãƒˆãƒ«ã¯ã©ã†
Building RAG-based LLM Applications for Production
[ GitHub | Notebook | Anyscale Endpoints | Ray Docs] · 55 min read Note: Check out the new evaluation reports and cost analysis with mixtral-8x7b-instruct-v0.1 and our data flywheel workflow to continuously improve our RAG applications. In this guide, we will learn how to: 💻 Develop a retrieval augmented generation (RAG) based LLM application from scratch. 🚀 Scale the major workloads (load, ch
24時間365日動ã続ã‘るデータシステムã®è¨è¨ˆæ‰‹æ³• : 「データ指å‘アプリケーションデザインã€å®Ÿè·µç·¨
「データ指å‘アプリケーションデザインã€ã‚’ベースã«ã€24時間365日動ã続ã‘るデータシステムを実装ã™ã‚‹éš›ã«å¿…è¦ã¨ãªã‚‹æŠ€è¡“や考ãˆæ–¹ã‚’紹介ã—ã¾ã™ã€‚ ã“ã®è³‡æ–™ã¯ã€2023年大阪大å¦å¤§å¦é™¢ æƒ…å ±ç§‘å¦ç§‘ マルテメディア工å¦ç‰¹åˆ¥è¬›ç¾©ã§ä½¿ã‚ã‚ŒãŸè³‡æ–™ã‚’一般用ã«ä¿®æ£ã—ã¦å…¬é–‹ã—ã¦ã„ã¾ã™ã€‚ å‚考： 「30分ã§ã‚ã‹â€¦
RAGを使ã£ãŸç¤¾å†…æƒ…å ±ã‚’å›žç”ã§ãる生æˆAIボットã§æ¥å‹™åŠ¹çŽ‡åŒ–ã—ã¦ã¿ãŸ | DevelopersIO
ã¯ã˜ã‚ã« æ–°è¦äº‹æ¥éƒ¨ 山本ã§ã™ã€‚ ChatGPT（OpenAI API）をã¯ã˜ã‚ã¨ã—ãŸAIã®è¨€èªžãƒ¢ãƒ‡ãƒ«ï¼ˆLarge Language Model：以下ã€LLM）を使用ã—ã¦ã€ãƒãƒ£ãƒƒãƒˆãƒœãƒƒãƒˆã‚’構築ã™ã‚‹ã‚±ãƒ¼ã‚¹ãŒå¢—ãˆã¦ã„ã¾ã™ã€‚通常ã€LLMãŒå¦ç¿’ã—ãŸã¨ãã®ãƒ‡ãƒ¼ã‚¿ã«å«ã¾ã‚Œã¦ã„る内容以外ã«é–¢ã™ã‚‹è³ªå•ã«ã¯å›žç”ãŒã§ãã¾ã›ã‚“。ãã®ãŸã‚ã€ä¾‹ãˆã°ç¤¾å†…システムã«é–¢ã™ã‚‹ãƒãƒ£ãƒƒãƒˆãƒœãƒƒãƒˆã‚’作æˆã—よã†ã¨ã—ã¦ã‚‚ã€ç´ ã®LLMã§ã¯è³ªå•ã«å¯¾ã—ã¦ã‚ã‹ã‚‰ãªã„ã¨ã„ã†å›žç”ã‚„ç•°ãªã‚‹çŸ¥è˜ã«åŸºã¥ã„ãŸå›žç”ãŒï¼ˆå½“然ãªãŒã‚‰ï¼‰å¾—られã¦ã—ã¾ã„ã¾ã™ã€‚ ã“ã®å•é¡Œã‚’解決ã™ã‚‹æ–¹æ³•ã¨ã—ã¦ã€Retrieval Augmented Generation（以下ã€RAG）ã¨ã„ã†æ‰‹æ³•ãŒã‚ˆã使用ã•ã‚Œã¾ã™ã€‚RAGã§ã¯ã€ãƒ¦ãƒ¼ã‚¶ã‹ã‚‰ã®è³ªå•ã«å›žç”ã™ã‚‹ãŸã‚ã«å¿…è¦ãã†ãªå†…容ãŒæ›¸ã‹ã‚ŒãŸæ–‡ç« を検索ã—ã€ãã®æ–‡ç« ã‚’LLMã¸ã®å…¥åŠ›ï¼ˆãƒ—ãƒãƒ³ãƒ—ト）ã«ä»˜ã‘åŠ ãˆã¦æ¸¡ã™ã“ã¨ã§ã€ãƒ¦ãƒ¼ã‚¶ãŒæ¬²ã—ã„æƒ…å ±ã«é–¢ã—ã¦å›žç”
エンジニア視点ã§ã¾ã¨ã‚ã‚‹ Generative Agents ã®ä½œã‚Šæ–¹ï½œkawamou
自律的ã«å‹•ä½œã™ã‚‹ 25 åã® AI エージェントãŒæš®ã‚‰ã™ä»®æƒ³ä¸–界（街）を 2D ゲームエンジンã§ä½œã‚Šã€ç¤¾ä¼šã‚·ãƒŸãƒ¥ãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³ã‚’実施ã—ãŸã€‚ 生æˆã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆã®ä¸–界シミュレーションã®çµæžœã€ä¸‹è¨˜ã®ã‚ˆã†ãªç¤¾ä¼šçš„行動ãŒç”Ÿã˜ãŸã¨ã„ã†ã€‚ æƒ…å ±ã®æ‹¡æ•£ï¼šå¸‚長（町長？）ã®é¸å‡º å”調活動：ãƒãƒ¬ãƒ³ã‚¿ã‚¤ãƒ³ãƒ‡ãƒ¼å½“æ—¥ã«ãƒ‘ーティを行ã†ãŸã‚町民ã¨å”力 詳細ã¯ä¸‹è¨˜ã® note ã«è©³ã—ã„。 百èžã¯ä¸€è¦‹ã«ãªã‚“ã¨ã‚„らã€å…¬å¼ãƒ‡ãƒ¢ã¯ã‚³ãƒãƒ©ã‹ã‚‰ç¢ºèªã§ãる。 生æˆã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆã®ãƒ¢ãƒ‡ãƒ«è«–æ–‡ã®æœ€é‡è¦ãƒã‚¤ãƒ³ãƒˆã¯ã€Œç¤¾ä¼šã‚·ãƒŸãƒ¥ãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³ãŒã†ã¾ãã„ãよã†ãªã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆã®ãƒ¢ãƒ‡ãƒ«ã‚’è¨è¨ˆã—ã¾ã—ãŸï¼ã€ã§ã‚る。 å¤ãã¯ãƒžãƒ«ãƒã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆã‚·ã‚¹ãƒ†ãƒ ã®æ™‚代ã‹ã‚‰ã€ã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆã¯ã€Œä½•ã‹ã‚’観測ã—ã€è¦³æ¸¬ã—ãŸã‚‚ã®ã«ã¤ã„ã¦æ€è€ƒã—ã€æ€è€ƒã‚’ã‚‚ã¨ã«è¡Œå‹•ã™ã‚‹ã€ã‚ˆã†ã«ãƒ¢ãƒ‡ãƒ«åŒ–ã•ã‚Œã¦ã„る。観測 → æ€è€ƒ → 行動。生æˆã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆè«–æ–‡ã§ã¯è¦³æ¸¬ → æ€è€ƒ → 行動ã«åŠ ãˆã¦è¨˜æ†¶ã‚„計画ã€æŒ¯ã‚Šè¿”ã‚Šæ©Ÿ
Google Colab ã§ã® JP Language Model Evaluation Harness ã«ã‚ˆã‚‹æ—¥æœ¬èªžLLMã®è©•ä¾¡æ‰‹é †ï½œnpaka
「Google Colabã€ã§ã®ã€ŒJP Language Model Evaluation Harnessã€ã«ã‚ˆã‚‹æ—¥æœ¬èªžLLMã®è©•ä¾¡æ‰‹é †ã‚’ã¾ã¨ã‚ã¾ã—ãŸã€‚ 1. JP Language Model Evaluation Harness「JP Language Model Evaluation Harnessã€ã¯ã€Stability AI ãŒä½œæˆã•ã‚Œã¦ã‚‹ã€æ—¥æœ¬èªž LLM ã®è©•ä¾¡ã‚³ãƒ¼ãƒ‰ã§ã™ã€‚ 2. 評価データセット「JCommonsenseQAã€ã¨ã€ŒJNLIã€ã¨ã€ŒMARC-jaã€ã¨ã€ŒJSQuADã€ã®4ã¤ã®ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã§è©•ä¾¡ã—ã¦ã„ã¾ã™ 2-1. JCommonsenseQA「JCommonsenseQAã€ã¯ 常è˜çš„ãªæŽ¨è«–能力を必è¦ã¨ã™ã‚‹å¤šè‚¢é¸æŠžå¼è³ªå•å¿œç”タスクã®ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã§ã™ã€‚「CommonsenseQAã€ã®æ—¥æœ¬èªžç‰ˆã«ãªã‚Šã¾ã™ã€‚ 2-2. JNLI「JNLIã€ã¯ã€å‰ææ–‡ãŒä»®èª¬æ–‡ã«å¯¾ã—ã¦æŒã¤æŽ¨è«–é–¢
複数㮠ChatGPT プラグインを開発㗠AI オーケストレーションを実行ã™ã‚‹ã‚µãƒ³ãƒ—ルコード - Qiita
今回㯠Copilot stack ã®ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºã®ä¸å¿ƒã¨ãªã‚‹ãƒ—ラグイン開発ã«ã¤ã„ã¦ç´¹ä»‹ã—ã¾ã™ã€‚ Copilot stack Copilot stack ã¯å¤§è¦æ¨¡ LLM をオーケストレーターã¨ã—ã¦åˆ©ç”¨ã—ã€è¤‡æ•°ã®ãƒ—ラグインや外部システムã®æƒ…å ±ã¨é€£æºã•ã›ã¦ GPT-4 ã®ãƒ—ラグイン機能や Microsoft ã®å„製å“ã«æ載ã•ã‚Œã‚‹ Copilot ã¨é€£æºã—ãŸã‚Šç‹¬è‡ªã® Copilot を開発ã§ãるフレームワークã§ã™ã€‚ プラグイン開発 ChatGPT è¦æ ¼ã®ãƒ—ラグインを開発ã™ã‚Œã°ã€ä»¥ä¸‹ã®ã‚ˆã†ã«ãƒ–ラウザ版 GPT-4 ã ã‘ã§ãªãã€Bing ã‚„ Microsoft 365 Copilotã€Windows Copilot ãªã©ã‹ã‚‰ã‚‚利用å¯èƒ½ã«ãªã‚Šã¾ã™ã€‚当然ã€çµ„織独自㮠Copilot ã¨çµ±åˆã™ã‚‹ã“ã¨ã‚‚ã§ãã¾ã™ã€‚ã“ã®ãƒ—ラグインã«ã‚ˆã£ã¦ã€æœ€æ–°ã®æƒ…å ±ã‚„çµ„ç¹”å†…ã®ãƒ‡ãƒ¼ã‚¿ã‚’åæ˜ ã•ã›ãŸï¼ˆGrounding）回ç”ã‚’è¡Œã£
大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«æ™‚代ã®Human-in-the-Loop機械å¦ç¿’
ç”»åƒã®èªè˜ãƒ»ç†è§£ã‚·ãƒ³ãƒã‚¸ã‚¦ãƒ （MIRU2023）ãƒãƒ¥ãƒ¼ãƒˆãƒªã‚¢ãƒ«
30分ã§å®Œå…¨ç†è§£ã™ã‚‹Transformerã®ä¸–ç•Œ
ã¯ã˜ã‚ã« åˆã‚ã¾ã—ã¦ã€‚ZENKIGENデータサイエンスãƒãƒ¼ãƒ ã®ã¯ã¾ãªã™ã§ã™ã€‚æ£å¼ãªæ‰€å±žã¯DeNAデータ本部AI技術開発部ãªã®ã§ã™ãŒ[1]ã€æ¥å‹™å§”託ã¨ã„ã†å½¢ã§ä»Šå¹´åº¦ã‹ã‚‰æ·±å±¤å¦ç¿’ç³»ã®é–‹ç™ºç‰ã«æºã‚ã£ã¦ã„ã¾ã™ã€‚ 深層å¦ç¿’界隈ã§ã¯ã€2017å¹´ã«è¡æ’ƒçš„ãªã‚¿ã‚¤ãƒˆãƒ«ï¼ˆAttention Is All You Need）ã®è«–æ–‡ãŒç™ºè¡¨ã•ã‚Œã¦ã‹ã‚‰æ—©5å¹´åŠã€å…ƒå‡ºè‡ªã®æ©Ÿæ¢°ç¿»è¨³ã‚¿ã‚¹ã‚¯ã‚’大ãã越ãˆã¦ã€Transformer関連ã®æŠ€è¡“ãŒæ§˜ã€…ãªé ˜åŸŸã§ç”¨ã„られる汎用アーã‚テクãƒãƒ£ã¨ã—ã¦ç›®è¦šã¾ã—ã発展ã—続ã‘ã¦ã„ã¾ã™ã€‚ 今回ã¯ãã‚“ãªTransformerãŒç¾æ™‚点ã¾ã§ã«ã©ã®ã‚ˆã†ã«æ´»ç”¨ã•ã‚Œã¦ããŸã‹ã€ã¾ãŸã€ã©ã®ã‚ˆã†ã«å·¥å¤«ã•ã‚Œã¦ããŸã‹ã‚’ã–ã£ãã‚Šã¨ä¿¯çž°ã—ã€æµã‚Œã‚’ãŠã•ã‚‰ã„ã™ã‚‹ç›®çš„ã®è¨˜äº‹ã«ãªã‚Šã¾ã™ã€‚本記事ã®å¤§æž ã¯ã€2021年時点ã§ã®ã‚µãƒ¼ãƒ™ã‚¤è«–æ–‡ã§ã‚ã‚‹ A Survey of Transformers ã«å€£ã„ã¤ã¤ã€é©å®œã€2023å¹´2月上旬ç¾åœ¨ã¾
ã€å‹‰å¼·ãƒ¡ãƒ¢ã€‘トランスフォーマーを1億トークンスケーリングã™ã‚‹æ–¹æ³•ã€€LongNet: Scaling Transformers to 1,000,000,000 Tokens｜ã ã„ã¡
ã€å‹‰å¼·ãƒ¡ãƒ¢ã€‘トランスフォーマーを1億トークンスケーリングã™ã‚‹æ–¹æ³•ã€€LongNet: Scaling Transformers to 1,000,000,000 Tokens LongNet: Scaling Transformers to 1,000,000,000 Token s（GPTã«ã¦è¦ç´„） ã“ã®ãƒ“デオã¯ã€ãƒˆãƒ©ãƒ³ã‚¹ãƒ•ã‚©ãƒ¼ãƒžãƒ¼ã‚’1億トークンスケーリングã™ã‚‹æ–¹æ³•ã§ã‚ã‚‹LongNetã‚’æ案ã—ã¦ã„る。LongNetã¯ã€åˆ†æ•£ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ を使用ã—ã¦ã€ãƒˆãƒ¼ã‚¯ãƒ³æ•°ãŒåˆ¶é™ã•ã‚Œãªã„ãŸã‚ã€é•·ã„文脈å¦ç¿’ã«æœ€é©åŒ–ã•ã‚Œã¦ãŠã‚Šã€ãƒ‘フォーマンスãŒå¸¸ã«é«˜ã„ã“ã¨ãŒã‚ã‹ã£ã¦ã„る。ã“ã®ç ”究ã§ã¯ã€ç•³ã¿è¾¼ã¿ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã®é•·ã„文脈å¦ç¿’ã¯ã€ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«æ©Ÿæ¢°å¦ç¿’ã®å°†æ¥ã®é€²å±•ã«ã¤ãªãŒã‚‹é‡è¦ãªç™ºå±•ã®1ã¤ã§ã‚ã‚‹ã“ã¨ãŒç¤ºã•ã‚Œã¦ã„る。 å°Žå…¥ã¨ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã®ã‚¹ã‚±ãƒ¼ãƒªãƒ³ã‚°ã«ã¤ã„㦠近年ã€ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã®ã‚¹ã‚±ãƒ¼ãƒªãƒ³ã‚°ã«å‘
ランã‚ング
メンテナンス
ãŠçŸ¥ã‚‰ã›
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
A Review of Public Japanese Training Sets
hotchpotch/jaqket_v1_qa_wikija_context · Datasets at Hugging Face
State of AI Report 2023
ç¤¾å†…æƒ…å ±æ¤œç´¢ã‚·ã‚¹ãƒ†ãƒ ã§ç”¨ã„られるRAGã®4ã¤ã®å®Ÿè£…方法
生æˆç³»AIã®å®Ÿå¿œç”¨ã«å‘ã‘ã¦
Redirecting
{{#tags}}- {{label}}
{{/tags}}