これはなに？ ちょっとした分析の用事で久しぶりにGoogle Colaboratory (以下 Colab) を触ったら結構良くなってました。Cursorでコード書くのも快適だけど、面倒なデータ分析やるならやっぱColabの方が便利だなぁと再認識しました。 そこで、最近Colabに追加されて便利になったと思う機能を簡単にまとめてみました。(見てわかる通りタイトルはもちろん話題のあの本のオマージュです😇) 最近のColab便利機能を使おう 粒度まちまちですがざーっと書いていきます。「最近」の定義は曖昧なのでご容赦ください。 Github Copilot的なコード補完を使おう Github Copilotみたいなコード補完機能がついにColabに搭載されました。↓のように補完してくれます。 VS CodeでもCursorでも一緒やん、って思われるかもしれませんが、Colabのような多機能No

1.はじめに Google Colab で　Google drive の公開ファイル (例えば、fastText日本語版の学習済みモデルとか) を使う場合は、PCに一旦ダウンロードしてから Google drive経由で使うのが一般的だと思います。 普通はこの方法で問題ないわけですが、場合によっては わざわざ別途手動でダウンロードせずに、Google Colab を先頭からポチポチするだけで動くコードにしたいと思ったりするわけです。 今回は、そのための良い方法をWebで見つけましたので、備忘録として残します。 2.サンプルコード サンプル例は、fastText日本語版学習済みモデル です。URLをクリックすると、まずこの画面が現れます。 この画面で、赤枠のボタンを押すと、ダウンロード画面になります。 そうしたら、このダウンロード画面のURLを控えておきます。後は、以下のコードで、直接ダウン

Google Colaboratry は機械学習向けの実験環境で、とても便利なんですが、そこで構築したモデルやツールのデモなどで、Colaboratry 上でウェブアプリや API を一時的に公開したいことがあります。 そんな時、今までは ngrok などの外部サービスを使って、半ば強引にポートを公開していたのですが、実はそんなことする必要がないことを知りました。 サーバーの立ち上げ まずは公開したいサーバーを立ち上げます。バックグラウンドで実行して欲しいので、 nohup と & を使ってやります。 PORT = 8000 PATH = '' # 検証用に適当なサーバーを立ち上げておく !nohup python3 -m http.server $PORT > server.log 2>&1 &

jupyter notebook中で書いたコードの実行時間やボトルネックを調査したい場面が出てくることもある。IPythonのマジックコマンドを用いると簡単にプロファイリングを実行できる %timeや%timeitを使うと、コードの実行時間を表示してくれる。 %%timeや%%timeitなどとすると、セル単位での実行時間の計測も可能 %timeはシングルショットの解析。%timeitはよしなに複数回での最速や平均、分散も出してくれるので、より正確なベンチマークを行いたい場合などは%timeitを使うのが良さそう %time x = map(lambda x: x * 2, range(10000)) CPU times: user 9 µs, sys: 1 µs, total: 10 µs Wall time: 15.7 µs %timeit x = map(lambda x: x *

Visual Studio CodeがPython対応強化。Jupyter Notebooksネイティブ編集、Pythonファイルの直接実行など オープンソースのコードエディタ「Visual Studio Code」が10月のアップデートでPython関連機能の強化などを行いました。機能強化はおもにPython拡張機能を通じて提供されます。 The October release of the #Python extension for @code is here! Try out native editing of #JupyterNotebook files , a button to run Python files in the terminal ▶, and improvements to the Python Language Server. Learn more on our

RTX 2080Tiを2枚使って頑張ってGPUの訓練を高速化する記事の続きです。TensorFlowでは複数GPU時に訓練が高速化しないという現象がありましたが、PyTorchを使うとRTX 2080Tiでもちゃんと高速化できることを確認できました。これにより、2GPU時はTensorFlowよりも大幅に高速化できることがわかりました。 前回までの記事 対決！RTX 2080Ti SLI vs Google Colab TPU ～Keras編～ TensorFlow/Kerasでchannels_firstにするとGPUの訓練が少し速くなる話 ハードウェアスペック GPU : RTX 2080Ti 11GB Manli製×2 SLI構成 CPU : Core i9-9900K メモリ : DDR4-2666 64GB CUDA : 10.0 cuDNN : 7.5.1 PyTorch :

Send feedback Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates. �&��SV `cY�SV

画像処理100本ノックを「Google Colaboratory」で楽々学習を利用して、画像処理100本ノックをやってみようということでColabを起動してTutorialの通りに打ち込んでみました。 import cv2 img = cv2.imread("imori.jpg") cv2.imshow("imori", img) cv2.waitKey(0) cv2.destroyAllWindows() --------------------------------------------------------------------------- DisabledFunctionError Traceback (most recent call last) <ipython-input-14-d690a3c68444> in <module>() ----> 1 cv2.imsh

Ask questions, find answers and collaborate at work with Stack Overflow for Teams. Explore Teams Collectivesâ„¢ on Stack Overflow Find centralized, trusted content and collaborate around the technologies you use most. Learn more about Collectives

前回の記事で、Deep Learningの勉強にMicrosoft AzureのDeep Learning VMを借りようと考えてたのですが、主婦がちょろっと試すにはお値段が高いワ…と悩んでいました。そこで見つけたのがコレ↓ Google Colaboratory 機械学習/Deep Learningの教育や研究の促進を目的としたGoogleのプロジェクトらしい。機械学習を実験するのに必要なライブラリが一通りインストールされた仮想マシン上で、Jupyter Notebook(のようなもの)形式でPythonを実行することができます。その上、『NVIDIA Tesla K80』という1コ約80万円(価格.com調べw)もするGPUを無料で使わせていただけるそうですよ。さすがGoogle太っ腹ァ！！ ということで、Googleアカウントさえあれば無料GPU+環境構築不要ですぐにDeep Lea

無料でGPUが使える！ 素晴らしい。詳しい事はこの記事見ればOK。マジで3分でGPUがバリバリ使える環境が手に入る。 ※ 上記記事の通り部分的に制限はあるものの、現実的に個人利用ならほぼ問題ないし、プロダクトレベルでも上手く途中経過を保存するなりして永続化すれば割と使える。 GoogleDriveをファイルシステムとして使う インスタンスは落としてしまうとローカルのファイルや何やらは維持されません。そのため下記記事を参考にGoogleDriveからファイルを読み込んだり保存したりしましょう。 [2019.06.03 追記] → マウントもめっちゃ簡単になってた https://qiita.com/k_uekado/items/45b76f9a6f920bf0f786 普通にpythonファイル読み込めて驚いた。 import sys sys.path.append('drive/path/

前回の記事が思わぬ反響で驚愕していますが、今回はColabのTPUを限界まで試してみたいと思います。特殊な条件にするとColabのTPUは、GPU比で20倍以上速くなることがわかりました。しかも無料です。それを見ていきましょう。 TPUがGPUと比べて速くなる条件とは 前回の結果からTPUがGPUと比べて速くなる条件は2つあることがわかりました。 多層パーセプトロン（MLP）よりも畳み込みニューラルネットワーク（CNN）であること バッチサイズを大きくできること 1点目ですが、CNNだから速いのではなく、CNNがパラメーター数の割に計算量が多い、つまり訓練時間のうち計算量が支配的になるからと捉えることもできます。なぜなら、CNNは1つの畳み込みフィルターでパラメーターを使いまわしするのですから。 またGPUで行ったフレームワーク別の調査をTPUに適用したところ、TPUではモデル（ResNe

元ネタ https://discourse.julialang.org/t/julia-on-google-colab-free-gpu-accelerated-shareable-notebooks/15319 本記事の内容はこちらにすべて書かれてます。 以下はそれをやってみた系の備忘録となります。 手順 上記のリンク先では GPU を使うとのことですが、今回は普通に CPU でサクッと試してみます。 GPU を使う場合は、インストールに15~20分くらいかかるらしいですし、自分がやったときは Error でしくじりました。 1. Google Colabをひらく Python3 で新しいノートブックを作成してください 2. 以下のコードをセルにコピペして実行(Ctrl+Enter) !curl -sSL "https://julialang-s3.julialang.org/bin/l

Sign in

修正(2020/9/8) さらに簡単になり、左上のフォルダマークから「ドライブをマウント」をクリックするだけでマウント完了するようになりました。 ドライブのマウントボタンを押すと… アクセスを許可するか聞かれるので、「Googleドライブに接続」をクリックして認証に進む 認証後、ドライブのマウントボタンに斜線が入り、driveフォルダ配下に「My Drive」がマウントされています ここから、フォルダ/ファイルのパスもコピーできるので、便利です！ ※場合によっては、クリックしてもマウントできず、マウントするためのセルの実行を求められることがあります。その場合は、言われた通り現れたセルを実行しましょう！ （参考） ##前提 私は、研究でGoogleのcolaboratoryを使用しています。 （研究室で使えるGPUがないからね！） なので、google driveに学習するデータをあげて、マ