SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！ - Qiita

テクノロジーカテゴリーの変更を依頼記事元:

qiita.com/omiita

54 usersがブックマークコメント

コメント

3

記事へのコメント3件

注目コメント
新着コメント

misshiki “Sharpness-Aware Minimization、通称SAMです。どれくらい衝撃かというと、画像分類タスクにおいて、SAMがImageNet(88.61%)/CIFAR-10(99.70%)/CIFAR-100(96.08%)などを含む9つものデータセットでSoTAを更新したくらいです”

2021/01/05 リンク

knok 何回も勾配計算しないといけないのかと思ったけど2回でいいのか

2020/12/30 リンク

chuujou Deepなモデルには何でも使えそう。

あとで読む

2020/12/30 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！ - Qiita

0. 忙しい方へ SAMは損失が最小かつその周辺が平坦であるようなパラメータを目指すよ SAMは次の3ステッ... 0. 忙しい方へ SAMは損失が最小かつその周辺が平坦であるようなパラメータを目指すよ SAMは次の3ステップだよパラメータ$\mathbf{w}$の周辺で最大の損失をとる$\mathbf{w+\hat{\epsilon}(w)}$を求めるよ $\mathbf{w+\hat{\epsilon}(w)}$における損失を求めるよ 2.の損失に対する勾配でパラメータ$\mathbf{w}$を更新するよ SAMは一言で言ってしまえば、「パラメータ周辺での最大の損失を求めて、それが下がる方向でパラメータを更新する」ものだよ ImageNetやCIFARを含む9つの画像分類データセットでSoTAを更新したよラベルへのロバスト性も高いよ 1. SAMの説明 SAMは至ってシンプルです。というのも、今までは損失が最小になるパラメータを学習させていました。ただ、SAMは損失が最小かつその周りも平坦となっ

ブックマークしたユーザー

imyutaro2023/05/22
y-kamiya2022/03/20
urza3582021/01/17
rydot2021/01/06
misshiki2021/01/05
samurairodeo2021/01/05
Hiro_Matsuno2021/01/01
kuumon2020/12/31
Phys2020/12/31
master12232020/12/31
sucrose2020/12/31
Pahud2020/12/31
clavier2020/12/31
bluescreen2020/12/30
serihiro2020/12/30
bato07152020/12/30
summer4an2020/12/30
knok2020/12/30

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx