はてなブックマーク

データをインタラクティブに可視化できるソフト 調べたので、メモ代わりのQiita投稿です。 Dash(Plotly) DashというのはPlotlyというライブラリを使ったWebのプラットフォームです。Plotlyに関しては[Python] Plotlyでぐりぐり動かせるグラフを作るを参照ください。 Dash(Plotly)に関する記事は以下参照ください。 Google Colabでも動かせるチュートリアルです。 @OgawaHideyuki さん作成のノートブック qiita_jupyterdash_example.ipynb 漫画のデータを題材にデータ可視化を学ぶ教材 PandasGUI PandasをGUIでぐりぐりいじれるソフト。 まだ試せていませんが、リポジトリのREADMEの動画とかみるとかなりよさそうな感じです。 他の方からのフィードバック 試したらまたちゃんと追記します。

追記：マリオの全ステージクリアを目指します！(2021/12/30) 深層強化学習で学習したAIマリオで全ステージクリアを目指すプロジェクトをGitHub Pagesで立ち上げました！参加者募集中です！ 詳細は以下参照ください 深層強化学習のPyTorchチュートリアルが日本語訳されて…ない！ PyTorch勉強中の人にとって助けになるのが公式のチュートリアルです。そんな公式チュートリアル @sugulu_Ogawa_ISID さんが日本語訳して公開してくださっています。 今、深層強化学習に興味津々丸なので、早速確認してみました。 すると… ない！ PyTorchのチュートリアル、マリオをプレイするものあって、めっちゃ面白そうなんですよね。というわけで、訳される前のPyTorchの深層強化学習のマリオチュートリアルをやってみました。 ちなみに、PyTorchチュートリアル（日本語翻訳版）の

いい加減にapt-getからaptに乗り換えようと思った Linux(Ubuntu)やラズパイ(Raspberry Pi OS)でよく使う、パッケージ管理コマンドのapt。今まで、互換性を重視して基本的にapt-getを使うようにしてきました。ただ、Ubuntuは6年前の14.04から、Raspberry Pi OSもRaspbian Jessieからaptコマンドが使えるようになったので、そろそろ互換性の問題が起こることもよほど無いだろうと思いaptコマンドに乗り換えることにしました。 というわけで、apt-getとaptの違いと忘れがちなaptコマンドとかを備忘録がわりにまとめておきたいと思います。随時更新していきます。 apt-getとaptの違い そもそもaptが何で、apt-get(apt-cache)と何が違うかというと、以下くらいのようです。 aptは新しいパッケージ管理コマ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? もっと早くに知りたかった .github リポジトリの効果 Twitterで知った超絶お役立ち情報。1週間前の自分に教えてあげたい… .githubリポジトリ作ればorganization全体にpull request template等を全体適応できるのを知ったhttps://t.co/DNu5Falkae — 1coin (@1coin178) October 13, 2020 元々リポジトリの中に.githubディレクトリを作ると、そのリポジトリに対してPull Requestのテンプレートやissueのテンプレートを作ったりする

また、VS Codeに関してはZennで本を無料公開しています。よろしければこちらも参考にしてみてください。 よって、この記事の内容はほとんど必要ないのですが、参考情報として残しておきます。 VS Code Insider版がラズパイに来た VS Code Insider版がラズパイ（というかArm）に対応したという嬉しいお知らせを目にしました。 @code insiders running on Linux ARM? You got it! 👌 My @Raspberry_Pi 4 is pretty happy running it on @ubuntu_mate. Get it today: 👉 ARM64 https://t.co/3q14il7xSh 👉 ARMv7l (32 bit) https://t.co/lCx0ObYFTP For deb and rpm: htt

Ubuntuをインストールすると毎回設定すること 今月はUbuntu強化月間ということで、Ubuntuをセットアップし直しています。私はLinuxはしょっちゅうセットアップをしなおすのと、たくさんのマシンを使う関係上、あんまりデフォルトから変えない（バリバリにカスタムはしない）方なのですが、その中でも毎回のように実施する設定も結構あったりします。 自分へのメモも兼ねて、そんな（自分にとって）鉄板の設定手順を、Linux PCの購入段階から一通りまとめてみたいと思います。 この記事の対象としている人は、Linuxの基礎的なコマンドは理解しているくらいの初心者〜中級者です。用途は、機械学習や趣味的なソフト開発です。Ubuntuのバージョンは22.04/20.04/18.04で確認しています。 対象としていないのは、フロントエンド関係・インフラ系開発者・上級者・Ubuntu以外のディストリビュー

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? GCP(Google Cloud Platform)でディープラーニング学習環境構築方法 背景 ようやくDockerでのディープラーニングGPU学習環境構築に成功した @karaage0703 。疲れを癒す間も無く、ディープラーニングの帝王Google社のデベロッパーアドボケイトから、新たなる天啓がくだる。 度々からあげさんの記事を引用して恐縮ですが、もしGCPを使う場合は、このあたりをまるっとイメージにまとめたDeep Learning Containersってのもあります。ポチるだけでCUDA/TF/Jupyter/その他全部入りの

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DockerでGPU学習環境構築 背景 ディープラーニングでローカルPCのGPUを使った学習環境を構築した経験のある人は、一度はNVIDIAのドライバやCUDA周りでハマった経験があるのではないでしょうか？そんなバッドノウハウ（怪文章？）をまとめたQiita記事（TensorFlowでGPU学習させるためにCUDA周りではまったときの対処法）に、なんとNVIDIAの中の人(@ksasaki さん）から「Dockerを使えば…人類は幸せになれる（超意訳）」とのコメントをいただきました！ 喜び勇んで、NVIDIAのドライバをアップデートした

素材提供：「変デジ研究所」 ロンスタさん Object Detection APIがTensorFlow2.x対応 全世界待望（？）のTensorFlowの物体検出ライブラリ「Object Detection API」がTensorFlow 2.x対応しました。 TensorFlow 2 meets the Object Detection API というわけで、このObject Detection APIを手軽に使える拙作のツール「Object Detection Tools」もTensorFlow 2.xに対応したスクリプトを早速作成して追加しました。 「Object Detection API」と「Object Detection Tools」に関しては、以下記事を参照下さい。 TensorFlowの物体検出用ライブラリ「Object Detection API」を手軽に使えるソフト

データサイエンス100本ノックとは？ 良さそうなものがありました。 データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック（構造化データ加工編）」をGitHubに無料公開 動かし方はREADMEに書いてあるので、慣れている人は一瞬で動かせると思いますが、初心者だとちょっと戸惑いそうなので、メモがわりに動かし方を書いておきます。 データサイエンス100本ノック環境構築方法 やることは大きく以下の2つです。 Dockerセットアップ Docker上で動かす それぞれ説明していきます。 Dockerセットアップ Dockerの概要とインストール方法は以下参照ください。 Docker入門して機械学習環境構築 Docker上で動かす READMEの通り、以下コマンド実行しましょう。 $ git clone https://github.com/The-Japan-DataS

Jetson NanoでPose Estimation Jetson Nanoで骨格検出の技術を動かしてみます。「tf-pose-estimation」というソフトを使うと単眼カメラで人間の骨格検出をすることができます。詳しくは以下ブログ記事を参照下さい。 単眼カメラでKinectのように骨格検出する技術「Realtime Multi-Person Pose Estimation」を試してみた Jetson Nanoで「tf-pose-estimation」のセットアップ ほとんど以下の記事を参考にさせていただきました。おかげで詰まることなくセットアップできたので、本当に感謝です。 Jetson Nano に TensorFlow版のOpenpose入れてみる そのままだと付加価値がないので、上記のセットアップをコマンド一発で実行できるようにスクリプトにした上で、Raspberry Piカ

Jetson NanoにJetPack 4.4/4.5を入れてTensorFlow・物体検出・姿勢推定・ROS2(Realsense)・ROS1を動かすJetpackRealSenseTensorFlowROS2JetsonNano Jetson Nanoに満を持してJetPack 4.4/4.5を入れてみました からあげといいます。半年ほど前に「Jetson Nano超入門」という本を共著で書きました。詳しくは以下ブログ記事参照ください。 共著で書いた本「Jetson Nano超入門」が12/21に発売されます ただ、この手の本の宿命として、書いたタイミングと発売するタイミングで基本ソフト（JetPack）のバージョンが異なり、本の通りにやってもうまく動かないということがありました。一応本やサポートサイトでは、古いバージョンのソフトでの動作を推奨しているのですが、気づかない人も多いし、最

らびやんさん開発のM5 Stack/M5 StickC/Wio Terminalなどのマイコンで動くグラフィックライブラリです。GitHubでOSSとして公開されています。リポジトリへのリンクは以下です。 LovyanGFX 自作GFX、LovyanGFXを公開しました。https://t.co/ilO0fkkGW9 M5.LcdをLovyanGFXにして利用したい場合はこちらを。https://t.co/00AIL5yt5Y 人柱募集中です～。 — らびやん (@lovyan03) April 12, 2020 セットアップ方法 マイコンそれぞれの基本的なセットアップ方法・購入方法は、以下ブログ記事参照ください。 話題のマイコン「Wio Terminal」を買ってクソゲー作って動かしてみました 小型万能マイコン「M5Stack」で自分だけのクソダサいスマートウォッチを作る 個人的には、最

「○○100本ノックとは」？ プログラミング関係のエクササイズ集・Tips集的なものです。ちょっとしたテクニックや、基礎がまとまっているので解いてみると練習になります。 最初にやるのは退屈かもしれませんが、学習の停滞期にやってみると、思わぬ発見があるのではないかなと思います。 この記事では、Python関係の100本ノックを簡単にまとめてみました。自分が知っているのは、以下くらいですが、他にも良いもの（絶対ある気がします）知っている人はぜひコメントなどで教えてください。 画像処理100本ノック 画像処理100本ノック!! 追記：本家が惜しくも無くなってしまっていたので、fork（？）されていたものにリンク張り替えました。 解説・Google Colaboratoryで実行するときは以下記事参考にしてみてください。 ディープラーニング ∞本ノック 注：元サイトが消えてしまったので、私がfor

「AnimeGAN」とは TachibanaYoshinoさんが作成した、GANで画像をアニメ風に変換するソフトウェアです。詳細は以下リポジトリを参照ください。 TachibanaYoshino/AnimeGAN CartoonGAN-TensorflowやAnime-Sketch-Coloring-with-Swish-Gated-Residual-UNetがベースになっているようです。 学習済みモデルもあって簡単に動かせます。試してみたので動作メモと、結果の紹介です。 「AnimeGAN」動かし方 READMEに書いてある通りで動くのですが、手っ取り早く動かしたい人のために少しだけ詳しく書きます。 最初にPython環境、必要なライブラリをセットアップしましょう。初心者だとここが一番難しいかもしれませんね。以下ブログ記事をみて適当に（雑な説明）。 Pythonで機械学習をするための環境

BERTとは 最近少し自然言語処理を勉強しています（仕事とかは、全く関係なくて個人的興味です）。本としては、以下の本がとても良かったです。 「Python自然言語処理入門」が自然言語処理の基礎にとても良かった 本の最後の方に、最新のディープラーニングを使った手法である「BERT」の解説があります。なので、BERTのモデル詳細に関しては本や他のネット記事など参照ください。 本では、理論面に関しては詳しく解説あるのですが、残念ながらBERTの発表が発刊直前だったとのことで、サンプルまでは本に盛り込まれていませんでした。というわけで、この記事ではBERTを使って簡単な自然言語処理を実践してみたいと思います。 BERTをGoogle Colaboratoryで手軽に試す 手っ取り早く試すために、この記事ではGoogle Colaboratory(Google Colab）を活用します。Google

PINTOさんの「TensorflowLite-bin」を使ってみる 最速にして、最狂。ビルドジャンキーのPINTOさん。最速を目指して、日夜TensorFlowのビルドに励んで、バイナリをみんなに提供し続ける素晴らしい方です。いつも凄いなと思ってみていたものの、Qiitaの記事を読んだだけで震えてしまい、ほとんどその恩恵にあずかれていませんでした。 そんなPINTOさんの凄さを少しでも感じるために、PINTOさんが作ってくださった成果物を簡単に試してみる方法をまとめました。この凄さを広めないのは、世の中の損失と思い使命感（？）をもって記事書きました。 今回使用するのは、PINTOさん謹製のリポジトリ「TensorflowLite-bin」です。Raspberry Piにお手軽に「TensorFlowLite」をインストールして、軽量化された爆速したモデルを動かせる素晴らしいリポジトリです

Jetson Nano SDカードのイメージファイル Jetson Nanoで使えるSDカードのイメージを自分が知っている範囲でまとめます。 Jetson Nano Developer Kit(JetPack) 最新のJetPackはNVIDIAのJetPack SDKのページからダウンロードできます。 公式のJetPackのアーカイブページは以下です。過去のアーカイブは、現在は公式なものはありません。 JetPack Archive JetPack 4.3以降はOpenCVのバージョンが3から4に上がっているので注意して下さい。私が書いている記事は、注記がない限り、基本的にJetPack 4.2.2以前のバージョンを想定しています。 最新のJetPack4.4を使用する場合は、以下記事を参考にしてください。 Jetson NanoにJetPack 4.4を入れてTensorFlow・物体

PyTorchでデータの水増し（Data Augmentation） PyTorchでデータを水増しをする方法をまとめます。PyTorch自体に関しては、以前ブログに入門記事を書いたので、よければ以下参照下さい。 注目のディープラーニングフレームワーク「PyTorch」入門 データ水増しを実施する理由や、具体例などは以下記事参照下さい。 フリー素材で遊びながら理解するディープラーニング精度向上のための画像データ水増し（Data Augmentation）手法 またこの記事は「Google Colaboratory（Google Colab）」で実行することを前提に書かれています。Google Colab自体に関してはこの記事では説明しません。知らない方は、以下記事を参照してみてください。 Google Colaboratoryを使えば環境構築不要・無料でPythonの機械学習ができて最高

Docker上でGUIのROSを動かす TiryohさんがGitHub上で素晴らしいリポジトリを公開していました。 素晴らしさに感動してしまったので、素晴らしさを少しでも広めるために、簡単な紹介記事を書いてみます。 このリポジトリは、Docker上でGUIのROSを動かすことができます。Dockerさえ入っていればMacでもLinuxでも（多分）Windowsでも、一瞬でUbuntu+ROSの環境が手に入ります。ROSはセットアップがそれなりに大変なので、Dockerさえ入っていればコマンド一発で環境構築できるのは最高ですね。 Dockerって何？という方やインストール方法が分からない方は、以前私のブログに書いた下記記事を参照下さい。 Dockerをインストールしたら、後は以下のコマンドを実行するだけです。

Pythonの本を読んで学んだことをメモしてきます Pythonの勉強中です。読んだ本に関しては、以下ブログ記事参照下さい。 内容的には、この記事では、特にPythonで書かれたフレームワーク（具体的にはTensorFlow、PyTorch等のディープラーニングのフレームワーク）を理解するのに必要だった知識を中心にメモしています。 以下は前提です。 当方、永遠の初心者です。優しくして下さい Pythonの基礎中の基礎は理解している読者を想定しています printの次行の#行は、出力結果を意味します コメント、編集リクエスト歓迎です しばらくは、随時追加、修正していく予定です。 全体的な話 Pythonは全てがオブジェクト Pythonは全てがオブジェクトらしいです。雰囲気でオブジェクト指向をやっているので、あんまり意味がわかってないです。 クラスすらオブジェクトらしいですが、それがどういう

Raspberry Pi 4を起動したら途中でモニタが映らなくなる ラズパイ4を入手して、喜び勇んで起動しようとしたら、モニタが映らなくてションボリしました。 一瞬映るけど すぐ「No Signal」 ちなみに、ラズパイ3だと、同じモニタでちゃんと起動していました。 有休とって、ラズパイ4をいじろうとしたら、ラズパイ4が起動しない…正確には、最初のラズパイマークが出るけどすぐNo Signal…同じSDカードでラズパイ3だと起動するのに。OSはRaspbianの2019-09-26のやつ。何か基本的なこと間違えているのかしら？ pic.twitter.com/YpVuUQHKv2 — からあげ (@karaage0703) November 29, 2019 モニタを変えたら写った Twitterで「モニタを変えて見たほうが良い」という貴重なアドバイスをいただいたので、モニタを変えたら映り

機械学習でよく使われる数式・記号 機械学習・ディープラーニングの分野の論文で使われる数式・記号の自分用メモです。誰かの役にたつかもしれないのでまとめておきます。理系の大学の学部生や、数学全然使わなくなった社会人くらいを想定して書いています（自分は数学全然使わなくなった社会人です）。 数式のTeX表記も記載しています。Qiitaで数式書くときや、論文を書くときに使えます（私は論文書く予定ないですが…）。Qiitaで数式を書く方法に関しては、以下の記事を参考にして下さい（この記事では解説しません）。 Qiitaの数式チートシート Qiitaで数式を書きましょう TeX表記は、Qiitaに登録していれば、編集リクエストで見ること可能なのですが、Qiitaに登録していない人に向けて書いてあります。Qiitaに登録すれば編集リクエスト機能により、Qiita記事の数式のTeXソース見放題なので登録して

Raspberry Piで自動起動する方法 Raspberry Piにはプログラムを自動起動する方法がたくさんあります。それぞれ特徴があるので、自分が簡単と思う順にまとめていきます。自分もブートの仕組みちゃんと全部理解できていないので徐々にまとめていこうと思います。 大きくは以下5つがあるという認識です。 /etc/rc.local autostart crontab @reboot /etc/init.d systemd /etc/rc.local /etc/rc.localに自動起動したいコマンドやスクリプトを書くと、起動時に実行されます。好きなエディタで編集しましょう（以下はvimの例です）。

はじめに この「Pythonで基礎から機械学習」シリーズの目的や、環境構築方法、シリーズの他の記事などは以下まとめページを最初にご覧下さい。 今回は、前回のPythonで基礎から機械学習 「単回帰分析」を読んだことが前提の内容となっております。 また、本記事は、初学者が自分の勉強のために個人的なまとめを公開している記事になります。そのため、記事中に誤記・間違いがある可能性が大いにあります。あらかじめご了承下さい。 より良いものにしていきたいので、もし間違いに気づいた方は、編集リクエストやコメントをいただけましたら幸いです。 本記事のコードは、Google Colaboratory上での実行を想定しています。本記事で使用したGoogle ColabのNotebookは以下となります。 02_multiple_regression.ipynb 重回帰分析 重回帰分析は、簡単に言うと前回学習した

はじめに この「Pythonで基礎から機械学習」シリーズの目的や、環境構築方法、シリーズの他の記事などは以下まとめページを最初にご覧下さい。 本記事は、初学者が自分の勉強のために個人的なまとめを公開している記事になります。そのため、記事中に誤記・間違いがある可能性が大いにあります。あらかじめご了承下さい。 より良いものにしていきたいので、もし間違いに気づいた方は、編集リクエストやコメントをいただけましたら幸いです。 本記事のコードは、Google Colaboratory上での実行を想定しています。本記事で使用したGoogle ColabのNotebookは以下となります。 01_linear_regression.ipynb \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm

ディープラーニングで自撮り画像をアニメ画像に画風変換してみました。試した理由などは、以下ブログ記事参照下さい。この記事では、具体的な実現方法を解説していきます。 ディープラーニングでアニメドラえもんの「うそつきかがみ」を再現してみた 以下のGitHubのリポジトリにあるソフトと学習済みモデルを使うと、自撮り画像をアニメ画像に画風変換することができます。 taki0112/UGATIT 学習から推論までできる素晴らしいソフトなのですが、単純に画風変換やりたい場合、ちょっと使い方が煩雑だったり、動画に対応させたかったりしたので、以下の3点を自分用に改造しました。 セットアップを簡単にした 自動的に顔周辺の画像を抜き出し 動画に対応 改造したリポジトリは以下となります。 karaage0703/UGATIT 以下使い方を説明していきます。環境は、Mac/LinuxとJetson Nanoを想定し

はじめに とある目的で、ディープラーニングで手を検出したいなと思いやってみました。最初は1から学習して全然性能が出なくて、絶望していたのですが学習済みモデルを使うことで簡単に高性能な検出器を手に入れることができました。頼るべきはネットの集合知ですね。特に@KzhtTkhsさんの以下ツイートに助けられました。 意外と無い不思議🐤 EgoHand Datasetを利用した以下の実装とかならあります🐤🐤https://t.co/h6U7ZENZI2 ハンドサインまでいれるとまず無いので、いつも自作しています……🐤🐤🐤 — 高橋かずひと@リベロ拝命🐤 (@KzhtTkhs) August 15, 2019 ネットに助けられたので、簡単に作りかたを記事にまとめてネットの海に放流いたします。 写真では1つの手ですが、原理的には、複数の手でも検出可能です（両手の検出までは自分でも確認してい