共有
  • 記事へのコメント11

    • 注目コメント
    • 新着コメント
    その他
    オーナーコメントを固定しています
    isobe324649
    オーナー isobe324649 筆者です。本記事は半年以上に書き始めて、その後私の理解も進んで少し内容を更新したいので、いったん非公開とさせてください。読んでいただく機会が増えたため、中編、後編ともにこちらも完結させるつもりです。

    2023/03/23 リンク

    その他
    tach
    tach 参考。

    2023/03/24 リンク

    その他
    knok
    knok position encodingとposition embeddingが混同されているような

    2023/03/23 リンク

    その他
    rryu
    rryu 早く後編が読みたい。

    2023/03/23 リンク

    その他
    hirorinya
    hirorinya 素直に数式「も」欲しい

    2023/03/23 リンク

    その他
    masahiko_of_joytoy
    masahiko_of_joytoy 改めて考えるとTransformerの凄さってどれを指すんだろうな。Attention自体はLSTMで既にあったから、位置埋め込みとマルチヘッドAttentionの導入でGPUが使えるようになったこと?

    2023/03/22 リンク

    その他
    natu3kan
    natu3kan 特定の言語にくっつく言葉って前後の文脈によって強く出てくるモノが決まってるとこあるもんな、リンゴでも植物の分類の話なら他の植物の話になるだろうし。アップルパイの作り方なら他の材料や工程になるだろうし。

    2023/03/22 リンク

    その他
    yarimoku
    yarimoku ここで意味が急にわからなくなった→"そこで、扇型の座標は2次元なので、「単語の意味」を表現するのに使った512ビットを256ビットずつ2つに分けて、「文脈が考慮する距離スケール」を256個用意することにします"

    2023/03/22 リンク

    その他
    rissack
    rissack む、むずかしすぎる……

    2023/03/22 リンク

    その他
    lifefucker
    lifefucker 後編がねえ

    2023/03/22 リンク

    その他
    asuka0801
    asuka0801 MidjourneyやStable DiffusionやChatGPTに使われているtransformer自体の解説

    2023/03/22 リンク

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック!
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    数式を使わないTransformerの解説(前編) - conceptualization

    2023/3/23 追記: こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところ...

    ブックマークしたユーザー

    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事