はてなブックマーク

Kaggle の Code Competition で Jupyter Notebook 形式のコードを提出する機会が多くなってきました。開発効率を考えるとブラウザを使うことなくサブミッションを作成したり更新する作業フローが欲しくなります。ブラウザをなるべく使わない作業フローを紹介し、Kaggle に必要な機能が何かを考察します。 まとめ¶ 長いので3行でまとめると、 実装するコードは Dataset として Kaggle にアップロードする コンペに投稿する Notebook は Dataset にあるコードを呼び出すだけ Notebook も Dataset も Kaggle CLI 経由で VSCode から更新してアップロードする ということです。 モチベーションはコードベースの大規模化¶ Kaggle の solution は大規模化していくことがあります。例えば icecube

Gemmaの情報をキャッチアップする目的で Google 主催の Gemma Developer Day in Tokyo に参加した。Google CEO である Sundar Pichai の登場や、日本語向けGemma2モデルの新発表というサプライズも含め、参加者からはたくさんの様々な種類の刺激をいただきました。メモしていた内容をちょっと整理して公開します。 What’s new in Gemma 2¶ 最初の発表は Google DeepMind の Product Management Director である Tris Warkentin から Gemma2 の紹介。そして日本語版 Gemma 2 2B モデルの新発表。これに加えGemma関連のコミュニティコンペティションを立ち上げることの新発表。 今回発表された日本語版Gemma2 2Bモデルは、彼らの実験において 日本語の

PIGEON: Predicting Image GeolocationsPlanet-scale image geolocalization remains a challenging problem due to the diversity of images originating from anywhere in the world. Although approaches based on vision transformers have made significant progress in geolocalization accuracy, success in prior literature is constrained to narrow distributions of images of landmarks, and performance has not gen

2011年2月16日に Kaggle アカウントを取得して10年が経過した。長い間 Kaggle Ranking 世界 1 位を目指してきたが、この目標やモチベーションが大きく変化してきたと感じたため、一区切りつけるためにもこの10年+αを振り返る。今の目標は対象を問わずアルゴリズムで資産を最大化すること。エンジニアリングを駆使してデータからアルファを探し、システム化して運用する。実利的で定量評価できる最高に楽しいタスクです（記事では触れません）。 競技プログラミングからKaggleを始めるまで¶ Kaggle ができる前は ICPC や ICFP Programming Contest といった競技プログラミング系のコンテストに参加していた。ICPC ではアジア地区会津大会 2007、アジア地区東京大会 2008 に出場したが大敗して悔しくて仕方がなかった。コードゴルフも嗜む程度に遊んで

SpaceNet Challenge Round5 で優勝したのでコンテストで用いた解法について紹介します。 要約¶ 単純な Semantic segmentation タスクではなく、道路ネットワークをグラフ構造として抽出して、ルーティングへの応用を想定したグラフ構造に対する評価指標が用いられた。 未知の都市に対してもロバストな推定ができるように、取得できるすべての都市で検証セットを作成した。 既存の手法 CRESIv2 のエラー分析を行い、道路ネットワーク抽出に特化した後処理を開発した。 コンテストの背景と課題¶ SpaceNet Challenge は CosmiQ Works, MAXAR, Intel, AWS, Capella Space, TopCoder, IEEE GRSS が協賛および主催するコンテストのシリーズです。第五回目となる SpaceNet Challenge

I won the overall contest and also all the 4 city level prizes on the SpaceNet Challenge Round 2. This blogpost describes my winning solution on the public challenge hosted by Topcoder Marathon Match. Summary¶ Adding OpenStreetMap layers into the input of U-Net model significantly improves F-score. For training a deep neural network model, the computational time on p2.xlarge (Tesla K80) is two tim

Determinants, their applications to Markov processes, and a random walk proof of Kirchhoff's matrix tree theoremKirchhoff's matrix tree theorem is a well-known result that gives a formula for the number of spanning trees in a finite, connected graph in terms of the graph Laplacian matrix. A closely related result is Wilson's algorithm for putting the uniform distribution on the set of spanning tre