はてなブックマーク

この記事は Kaggle Advent Calendar 2020 の16日目の記事です。去年ネタ記事*1を書いたので今年は真面目なやつにしました。 はじめに Kaggler はコンペにおいてあらゆる手段を用いて評価指標の改善を目指します。特徴量エンジニアリング、モデルや学習手法の試行錯誤、特殊な前処理・後処理の考案、はたまた Leakage の利用に至るまで、ルールを破らない範囲であれば何でもする*2のが Kaggler です。今挙げた例はそのコンペ固有の性質(データの生成過程・分布、評価指標、... etc.)に着目することで大きな効果をもたらす場合が多いのですが、一方でいずれのコンペにおいても一定の効果が得られる手法があります。それは複数のモデルの予測結果を統合して予測を行う Ensemble です。Ensemble は統合するモデルに多様性があるほど性能が向上すると一般に知られてお

はじめに 以下の Tweet で言っている"長い旅路"の詳細です。完全にポエムかつ長文*1、しかも自己陶酔を多分に含んだ自分語りです。 暇かつ心に余裕があって何でも寛大に許せそうな場合にお読みください。 奇跡の solo gold を獲得し、遂に Kaggle Master になりました！ Kaggle と出会ってから4年半、一念発起して分析コンペに本気で取り組み始めてから1年半、長い旅路でした。 今までチームを組んだり議論したりして下さった皆さん、本当にありがとうございました！これからもよろしくお願い致します！ pic.twitter.com/IzWin2rioa— 俵 (@tawatawara) 2020年3月18日 話をしよう。あれは２年... いや５年くらい前の話だったか... といった感じの、むかーしむかしからの話*2。Kaggle と出会ってからの人生(の一部)の紹介みたいなも

【2019/12/28 追記】 RAKU SPA 鶴見は 2019/12/9-2019/12/13に行われた改装に伴い環境が大きく変わってしまいました。よってこの記事で述べている情報は古いです。ご注意ください。 こちらの記事は kaggle その2 Advent Calendar 2019 の2日目の記事となります。 はじめに この記事を読もうと開いた方は SPA Kaggle (あるいは spaggle) という言葉を見聞きしたことがある、かもしれない。可能性はゼロではないはず...*1 別に明確に定義されているわけでは無いですが、文字通り SPA に行って kaggle 関連の作業をしつつ、合間合間で休憩がてら温泉やサウナでリフレッシュすることだと僕は思ってます*2。 僕自身がこの spaggle をするようになったのは Twitter 上でちらほら「SPA で Kaggle してる」

以下の 分析コンペLT会 に参加しました. とっても楽しかったです! kaggle-friends.connpass.com 本当はアドベントカレンダーとの兼ね合いもあって書くか迷ってたのですが, まだ出してないのに😇 頑張ります— 俵 (@tawatawara) November 30, 2019 運営の方に予めお礼を言われてしまったので振り返りも兼ねて書くことにしました. いつもながらバラバラと書いてますが, 資料のまとめ + こういう感想持つ人も居るんだなくらいの気持ちでゆるりとご覧ください. Talk 一覧 Opning Talk ~分析コンペ LT会を開いた理由~ by currypurin さん 学習・推論パイプラインを構築する上で大切にしていること by takapy さん 初手が爆速になるフレームワークを作ってコンペ設計した話 by nyker_goto さん Light

先日 1/26に NeurIPS2018読み会@PFN に聴講参加してきました. この投稿はそのメモ(+振り返りでの補完)にります. connpass.com 実はブログに公開するつもりはなかったのですが, 用事で参加できなくなった会社の先輩に「後でメモを共有して欲しい」と言われてメモの整理のために振り返ってたらやたら時間がかかったので「これだけ労力かかったしブログにも載せとくか」というのが背景です. あくまで「こんな発表があったよ！」という雰囲気が伝わればいいかなというものなので, リンクを張っている資料などと一緒に見る前提です. できるだけ論文のリンクも張りました. イベントの内容としては NeurIPS2018 全体の概要についての発表 特定のテーマに関する発表: 5件 個別論文に関する発表: 9件(ただし1件は発表者が体調不良(インフル?)によりスライドのみ上がっている) です.テ

チーム(AgroDesign) で参加していた Human Protein Atlas Image Classification で22位になり、silver medal を獲得しました！ Private Leaderboard 前参加した台風コンペ(@SIGNATE)では被災して 最下位に落ちたため、この結果は本当に嬉しかったです。正直言うと gold 取りたかったですが 「全部やる」努力が足りませんでした...。 kaggle 自体はずいぶん前に登録していたものの、過去に何度かやろうとしては放置するを繰り返していたので、ちゃんと諦めずに完走できたのは本当に良かったです。そしてそれが最後二日での「脳汁ドバア」(Public で 100位、Private では150位 程の更新) に繋がりました。 というわけで何をやったかと、今回は計算資源的にかなり支援を受けてたのでそこら辺の経緯を書こう

9/11 - 10/26 (おおよそ1ヶ月半)　にかけて、以下の 「熱帯低気圧（台風等）検出アルゴリズム作成」コンペ に参加しました。 signate.jp 得るものは本当に沢山(DNNの実装や学習の経験・ノウハウなど)あったのですが、結果として最終提出の順位は 5位(public) => 207位(private) に転落しました。 覚悟の上での行動ではありましたがやっぱり1月半の努力が全部無に帰ったのはとてもつらくて（しかも一人で全力で完走した初めての分析コンペだった）、少しでも自分がやったことを形として残そうと思ってめちゃくちゃ久しぶりにブログを書いています。 きちんと書こうとするといつまで経っても公開できない気がするので(過去何度も繰り返したケース)、大雑把な内容にはなりますがご容赦ください。 はじめに：参加動機 実装したモデル: 改変版 WideResNet データの分割(tra

はじめに このブログ、一応勉強するためと銘打っているものの、すっかりたまに競プロの話を書くだけの場になってしまいました。 かつては本を読むモチベーションにしようとしてたんですけどねえ..（ただし一日坊主） これはアカンということで、久々に本を勉強しながらブログ書くことにしました。また自然消滅するって？いや、今度こそはやり遂げてみせる..！ と、いうわけで題材はコイツです。実は一月ほど前に買ったのに積んだままなんでいい加減勉強したい。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2016/09/24メディア: 単行本（ソフトカバー）この商品を含むブログ (18件) を見る 今まで深層学習に興味があって「勉強したい！」と思って本を買ったりもしたんですが、その前のニューラルネット自体の

最近先輩に勧められて python の gensim というライブラリを使い始めたのですが、試しに tfidf やってみたらどうやって正規化してるのかわからなかったから調べたって話です。 かなり細かいことなのですが、同じことに苦しむ人がもしかしたらいるかもってことで記事にすることにしました。 gensim とは？ radimrehurek.com gensim は python で提供されている自然言語処理のライブラリで、tfidf や、LSI や LDA みたいなトピックモデル、はたまた word2vec なんかも手軽に計算できる便利なツールです。これ2008年からあるらしいんですけど知らなかった...これの存在知ってたら僕の卒論の実装もっと楽になった気がする(--;) まあ過去の話はさておき、このライブラリを試してみるべくまずはtfidfの計算をしようとしたわけです。 gensim を