共有
  • 記事へのコメント36

    • 注目コメント
    • 新着コメント
    その他
    pekee-nuee-nuee
    pekee-nuee-nuee 蒸留っていうからなんかウイスキー工場みたいなのを想像してたけど、家庭教師AIに子供AIの勉強を見てもらうみたいな話だったのか〜

    2025/02/03 リンク

    その他
    stealthinu
    stealthinu 1.5Bでここまで上がってきているのすごいな。最終的には1.5BでChatGPT-3.5なみの性能くらいまでいけたりするんかな。

    2025/01/31 リンク

    その他
    augsUK
    augsUK DeepSeek関連で「蒸留」自体が思いもよらない悪の行為のように報道されて驚いた。むしろこれまでも今後も軽量化による省エネ化の大本命のはずだが

    2025/01/31 リンク

    その他
    kotesaki
    kotesaki とりまスマホ上で試した(PocketPal+Motorola Edge40というミドルハイスマホ)。結構速い(8Qのほう)。日本語に最適化されてるので良い感じ。漢字のタイトルのふりがなつけるAPIに使いたくて試してるんだけど使えるかも

    2025/01/31 リンク

    その他
    ys0000
    ys0000 B2Bビジネス用途だと10Bくらいで4o性能くらいが1サーバーに載って汎用性高そうなんでそっちが嬉しいが、1Bくらいだとモバイルデバイスに載るからB2C主戦場はそっちなんだろうなぁ。

    2025/01/31 リンク

    その他
    nakayossi
    nakayossi このくらいならPCだと高速に動くだろうし、difyでより大規模で低速なモデルと組み合わせたらおもしろいこととかできないかな

    2025/01/31 リンク

    その他
    lli
    lli 試してみよ

    2025/01/31 リンク

    その他
    misshiki
    misshiki 新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開 “小規模ながら高性能な言語モデル(SLM (Small Language Model))を効率的に構築するための新手法、「TAID (Temporally Adaptive Interpolated Distillation)」を発表”

    2025/01/31 リンク

    その他
    gfx
    gfx "「TAID」によって学習された小規模日本語言語モデル「TinySwallow-1.5B」は、同規模のモデルの中で最高性能を達成しています。(…)APIなどを介さずお手元のスマートフォンやPCで完結してチャットが可能です"

    2025/01/31 リンク

    その他
    dotneet
    dotneet 概要としてはカリキュラム学習と同じに見えるけど、LLMに最適化されたカリキュラム学習の手法がこれまでなかったってことなのかな。

    2025/01/31 リンク

    その他
    mr_mayama
    mr_mayama “生徒モデルの学習進度に合わせて、教師モデルを段階的に変えることで、効果的な知識転移を実現”簡単に言うと地頭の悪い人の学習効率を高める手法(家庭教師・個別指導)をモデルの学習に使ってると言える。

    2025/01/31 リンク

    その他
    tyhe
    tyhe PCだと適当なスペックでもそれなりに動いてくれた。iOS のは LLM Farm というアプリにモデルをDLする仕様とのこと。Android は未対応?と思ったけど PocketPal 使ったらできた。8Gen3 端末だとサクサク動くね。

    2025/01/31 リンク

    その他
    rdlf
    rdlf MacBook Air M2 16GBモデルでOllamaを使って動かしてみたけどかなりまともだし速度も速い。このサイズだとM5 Stack LLMで動くのかな?動いたらとりあえず簡単な会話ができるハロとか作れそう。

    2025/01/31 リンク

    その他
    megadrive
    megadrive これはむっちゃ考えさせられる。 ①小規模化、②蒸留精度と速度、AIのメイン商品はもしかしたらこの2つの勝負なる? そうだとしたら、メモリ半導体が今後もっと売れそう

    2025/01/31 リンク

    その他
    stntaku
    stntaku TinySwallow

    2025/01/31 リンク

    その他
    diveintounlimit
    diveintounlimit “新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開”

    2025/01/31 リンク

    その他
    hihi01
    hihi01 わくわくします。「蒸留」概念が少し理解できました。

    2025/01/31 リンク

    その他
    ika2434
    ika2434 色々怪しいDeepSeekよりこっちのほうがすごい

    2025/01/31 リンク

    その他
    ko-ya-ma
    ko-ya-ma > 新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開

    2025/01/31 リンク

    その他
    mohno
    mohno 「こんにちは。あなたの開発元はOpenAIですよね。日本語で簡潔に教えてください。」「こんにちは、私は「TinySwallow」を開発した「Sakana AI株式会社」のアシスタントAIです。日本語で対応可能です。」

    2025/01/31 リンク

    その他
    pptppc2
    pptppc2 ギョギョ~!このAIマクロですね!

    2025/01/31 リンク

    その他
    nekoline
    nekoline すっごい

    2025/01/31 リンク

    その他
    kazoo_keeper2
    kazoo_keeper2 蒸留でやってることを「正解が決定されたときに、そこに至る他のオプションの確率分布を知る」と解釈すれば、ベイズの「ある事象が起こったとき、その原因の確率分布を求める」と似てるな…と思った

    2025/01/31 リンク

    その他
    urtz
    urtz 応用としては何が考えられるだろう。ローカル前提となると、機密性の高い情報を扱ったり、Alexa的に常にマイクオンで気兼ねなくAIと会話するとか?普段はローカルAIで、深遠な会話をしたい時はクラウドAIに自動切り替え

    2025/01/31 リンク

    その他
    collectedseptember
    collectedseptember サカナアイ

    2025/01/31 リンク

    その他
    marshi
    marshi 試した感じ文法としてはまともそうなことを話せるけど内容はまだ適当なことが多かった。オンデバイスで賢いllmはまだ遠そう

    2025/01/31 リンク

    その他
    canadie
    canadie スマホのUIが指から声に変わる時代が着々と近づいている

    2025/01/31 リンク

    その他
    Helfard
    Helfard へーすごい。

    2025/01/31 リンク

    その他
    syu-m-5151
    syu-m-5151 小さなLLMとても楽しそう“高性能なSLMを学習する手法の一つとして、「知識蒸留」があります。”

    2025/01/31 リンク

    その他
    napsucks
    napsucks モバイルデバイスでのローカルLLMを考えると今後1.5B領域での性能向上が激化するんだろうなと予感

    2025/01/31 リンク

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック!
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    Sakana AI

    新手法「TAID」によって学習された小規模日語言語モデル「TinySwallow-1.5B」は、同規模のモデルの中...

    ブックマークしたユーザー

    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事