Information 2024/10/7： ストレージとして Amazon S3 をマウントする方法を 10 章に追記しました。 これにより、コストの安い S3 をストレージとして使用できるため、 Paperspace のストレージ容量が少ない問題を解決できます（ S3 の料金体系については 9 章を参照）。 特定の torch や cuda のバージョンのコンテナで notebook を起動するする方法を 3 章に追記しました。 「torch==2.4.0 でないとライブラリが動かせない！」といった場合にお試し下さい。 はじめに こんにちは、kunishouです。先月2022年9月の末にGoogle Colabがサービス内容の大幅な変更を実施し、従来は無制限でGPUを使用できていたものが、クレジット制に移行しました。この変更を受けてこれまでGoogle Colabを利用してKaggle

どうもこんにちは、あんどう（@t_andou）です。 前回宣言した通りに誰でも簡単にYoutubeの字幕ファイルを作る方法を書きます。 「Youtubeの」と書いていますが、実際はどの動画でも対応してます。 前回の記事 blog.takuya-andou.com まずはGoogleColabの共有 colab.research.google.com 使い方 GoogleColabに記載していますが 1.GPUを使用するように切り替え 上の「ランタイム」→「ランタイムのタイプを変更」からからGPUを選択 2.右上の接続 下のセルを実行すると自動的に接続されるので省略可能です 3.動画をアップロード ここにドラッグ＆ドロップでアップできます 大容量のデータの場合、GoogleDriveと連携した方が効率的です 4.入出力のパスの変更 ファイル名に合わせて変更してください 5.全セルを実行 あと

用意して下さい。 ( 学習 data を ) 用意して下さい。 ( 字を ) 定義して下さい、 JavaScript 配列を、その字の。 幾つかの字が用意されました、筆者により。 確認して下さい。 ( strArrToImgs.js ) Google Search 小学生 1年生 習う漢字 ~ 小学生 6年生 習う漢字 中学生 1年生 習う漢字 ~ 中学生 3年生 習う漢字 Generate して下さい。 ( 字の image を。 ) Save して下さい。 ( strArrToImgs.js を。 ) Copy strArrToImgs.js ( この document の。 ) Run. vim strArrToImgs.js Put i key. Paste it. Put Escape key. Type :wq Put Return key. ( or Enter ) Run.

# 事前処理 # !pip list !pip install -q xlrd ############################################### from google.colab import files import google.colab import googleapiclient.discovery import googleapiclient.http import os # import datetime import requests from bs4 import BeautifulSoup import time import pandas as pd def fn_fuga(sic): ### 有報キャッチャーの閲覧 ### start = time.time() print(sic) url = 'http://resource.uf

TL;DR BigQuery で分析する際の tips をまとめてみる。長くなりそうなのでいくつかに分割して書く part1 はエディタとして何を使うかとか実行結果の連携などについて書く BigQuery console/DataGrip を使いつつ、結果を GitHub issues/Google Sheets/Bdash Server で共有するという感じで使っている 仕事で BigQuery を使って分析することが多いので、いくつかの回に分けて BigQuery を使って分析する際の tips をまとめていくことにする。今回は part1 としてエディタとして何を使うかとか実行結果の連携などについて書く。 個人的な探索的・アドホック分析用途の話に限定して、組織的にどういうデータ分析基盤を使うかとかそういう話はしない（会社だと ETL の L として dbt https://www.g

GoogleColabとVSCodeを用いたデータ分析環境運用Tipsについてお話ししました。 後半では、kaggleのコンペティションに参加する際のTipsなども記載しています。 補足ブログ：https://www.takapy.work/entry/2021/08/17/185047 LT…

こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動

How to Kaggle with Colab Pro & Google DriveMay 31, 2021  |  4 min read  |  1,905 views enkaggleColab Pro (currently available only in the US, Canada, Japan, Brazil, Germany, France, India, UK, and Thailand) offers ready-to-use and accelerated cloud computing resources which otherwise are expensive and tedious to maintain. Unlike its free version, Colab Pro allows us to use TPUs and high-end GPUs s

手元でJupyter NotebookでJuliaを実行して、ファイルを.ipynbで保存していたとします。 そのファイルをGoogle Colabでも実行してみたいことがありますよね？ そのやり方についての説明です。 基本的には https://qiita.com/ueuema/items/ca1b326f5df10a4203bd と同じです。補足説明がついているだけとなります。 追記：ローカルでの編集を全く必要としないで新しいノートブックをJuliaで始める方法を追記しました。 さらに追記：ローカルでの編集を全く必要としないで新しいノートブックをJuliaで始める方法のJuliaのバージョンを上げる方法を追記しました Jupyter Notebookの用意 まず、自分で作ったJuliaのJupyter Notebookを用意します。 例えば、 https://github.com/co

前回こんな記事を書いたが、どこに置いておくのが効率よいのか気になったので調べてみた https://blog.hatena.ne.jp/y-kamiya/jsapachehtml.hatenablog.com/edit?entry=26006613718710543 colaboratoryは起動のたびにまっさらの状態になるためデータセットなどのリソースは永続化可能な別の場所に置いておく必要がある。publicなデータセットを使う場合であっても、ダウンロード速度の問題で自前で用意した場所に置いた方がよい場合もある。 よって以下のような条件を満たす最適な場所を探したい ダウンロードが速い 無料で使える(or なるべく安価で) ちなみにuploadの計測で使った環境はこちら 場所: 東京 アップロード速度: 200Mbps こちらで計測(https://fast.com/ja/) 試したパター

やりたいこと kaggleなどのコンペ参加時にColabで計算して、wandbなどの実験管理ツールを使いたい。 現状wandbなどのAPI keyが生のままColabに貼っているので、そのままgithubにpushできない。 driveにtxtやyamlファイルを置いて管理すると、自分の性格上散らかすと分かっているので、GCPのサービスを使ってバージョンを含めて一括管理したい。 やったこと GCPのSecret Managerを使ってAPI keyを秘匿化して、Colabで呼び出した。 やりかた GCP上の設定 自分のGCPのコンソールを立ち上げて、Secret Manager APIを有効化する。 そのままUI上で作成する。 有効化されているのを確認する。 これで設定は終わり。 Colab上の設定 参考googleの公式レポジトリ

はじめに 「Colaboratory を使えばGPU付きの環境を無料で使えるけど、git使おうとしたりファイル編集したりする時面倒...」 と思っていた時期がありました。 パソコン版 Google ドライブ を使うと、ローカルにドライブをマウントできるので、ローカルで編集してGPUが必要なときはColabで実行というのが簡単にできます。ターミナルからコマンドで操作できるので、クラウドのストレージとしても使いやすいです。 また、最近 Colab Pro が日本にやってきました。月額1000円で Kaggle などでも十分戦える環境が手に入ります。もともと無料枠でもかなり使えましたが、課金すると優先的に良いGPUが割り当てられるなどのメリットがあります。 対象者 Kaggle に参加するためのGPU搭載マシンがない方（Kaggle Notebook では物足りない方） ちょっとした機械学習の環

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

皆さんこんにちは。 @tereka114です。 今年末はKaggleで開催される面白いコンペも多くて日々、エンジョイしています。 最近は巨大なデータを扱うことが増えており、Pandasだと時間がかかりすぎて効率が悪いと感じています。 そのため、データを高速に処理できるcuDFを利用することも多くなってきました。 この記事ではcuDFの魅力と扱う際の注意点を説明していきます。 ※この記事は「Pythonその2 アドベントカレンダー」10日目の記事です。 qiita.com cuDFとは cuDFはNVIDIAさんが開発している、Pandasの代わりに利用することができるGPUのライブラリです。 最も大きな特徴はGPUで計算するため、高速であることです。 主に、カテゴリ変数ごとの平均計算や、テーブル同士の結合といった、時間のかかるテーブル処理で、効果を発揮します。 github.com cuD

Google ColaboratoryでR言語を使うためには、追加インストールやセッション強制終了などが必要で、毎回数分間かかるという状況でしたが、2月頃にRのカーネルがこっそりと追加されたようで、面倒なハックは不要になりました。その方法についてのメモ。 カーネルを確認まず、Google Colaboratoryにデフォルトでインストールされているカーネルを確認するため、以下を実行します。 !jupyter-kernelspec listkernels/irが表示されれば、Rのカーネルが入っているということ。 2019年4月3日時点で、Swiftも入っているようです。 Rのカーネルに切り替えるカーネルは入っているのにGoogle Colaboratoryのランタイム変更画面に「R」がまだ表示されず、選択できないので、Notebook（.ipynb）ファイルをダウンロードし、テキストエディタ

B! 35 0 0 0 GitHubで公開されているJupyter Notebookのファイルは ファイルのURLをちょっと変えるだけで直接Google Colaboratoryで開くことができます。 そのちょっと変えることをやるブックマークレットを用意しました。 Bookmarklet for GitHub to Colaboratory Bookmarklet for GitHub to Colaboratory 以下のリンクをブラウザのブックマークツールバーなどに持っていって ブックマークレット化してください。 GitHub to Colaboratory それで例えば最近公開された 東京大学の松尾研究室のDL4USのノート https://github.com/matsuolab-edu/dl4us/blob/master/lesson0/lesson0_exercise.ipyn

画像処理100本ノックとは 以下のような素晴らしい記事を発見しました。 https://qiita.com/yoyoyo_/items/2ef53f47f87dcf5d1e14 （リンク切れ） 画像処理を、OpenCV等の高度なライブラリを使わず行うことで、画像処理の理解を深める、非常に有用な練習問題集です。自分も画像処理の基礎を学びなおしたかったので、自己学習のため活用させていただくことにしました。 ただ、初学者にとってハードルになりそうなのが、環境構築のところです。GitHubのREADMEに丁寧に描かれているのですが、初学者にとっては難易度高く、時間もかかります。また、自宅以外の環境でちょっと学習したいときなどにも不便です。 そんな手間を解消するために、Googleが提供している環境構築不要・無料でPythonの開発が可能なWebサービス「Google Colaboratory」を使

Google Colaboratoryをもっと便利に使いたい ブラウザさえあれば、環境構築不要・無料でPythonの開発が可能なWebサービス「Google Colaboratory（以下Google Colab）」。Windows PC等で手元に適切なPython環境が無い場合や、手元の環境を崩したくないとき、GPUを活用したいときなど幅広く活用しています（詳細は以下記事参照下さい）。 そんな中、よく使うコマンドやTIPS、使いたいときに探すのに時間がかかるのが多いため、一度まとめてみることにしました。 以下に本記事で紹介するコマンドをまとめたGoogle Colabのノートブックのリンクを貼っておくので、こちらも好きにコピーして使用してもらってOKです。 Google Colab Tips集 スペック確認 OS確認 !cat /etc/issue 容量確認 !cat /etc/issu

スノーボードを少しでも安く買いたかった そこで目を付けたのがヤフオクで開催されている１円スタートのスノボである 終了直前までの価格をみていると結構お得に買える！と、思っていた 少しの間、１円商品のスタートを見ていると入札されている価格帯が同じだということに気づいた だとすれば自分もその価格帯付近で入札すれば買えるんじゃないかと思い、価格帯を調べることにした 最近スクレイピングではPythonを使う NodeJSだと非同期を少しでも考えるのが嫌なので、できるだけ使いたくない 実行環境はColaboratoryを用いた スクレイピングして表形式で出力したいだけだからだ 簡単にPythonの実行環境にできるのでスゴイおすすめである colab.research.google.com スクレイピングには定番のBeautiful Soupを使って集計するコードを書き始め、できた結果が下記のようなコー