最近、動画から振動パターンを分析したいという案件がありました。具体的には、動画に映っているマーカーの動きをトラッキングして、数値として取り出したい。 Blenderのモーショントラッキング機能を使ったらうまく行ったので、その方法を記録します。 Blenderでモーショントラッキング トラッキングデータをビルトインPythonで書き出す Pythonコード 使い方 まとめ Blenderでモーショントラッキング これは動画で見たほうがわかりやすいので、この辺りのチュートリアルを流し見てみてください。 youtu.be このチュートリアルでは、ノードでコンポジットするところまで触れられていますが、今回の用途で必要なのは〜1:40辺りまで。これで全体の9割は終わりです。ちなみに、トラッカーの名前がCSVファイル名に入るので、わかりやすい名前に変更しておくと良いです。 トラッキングデータをビルトイ

これは何？ この記事は Kaggle Advent Calendar 2021 の7日目の記事です。 pandasはデータ分析ライブラリとして非常に便利ですが、書き方を間違えると簡単に処理が遅くなってしまうという欠点があります。そこで、この記事では遅くならない書き方をするために気をつけたいポイントをいくつかご紹介したいと思います。 この Colab Notebookの実行結果をエクスポートした上で、不要な部分を一部削って記事にしています。colab notebook をコピーして実行してもらえれば再現することが可能なはずです。(colabにコメント等をいただいても返すことはできないと思います、すみません。) 前提条件 この記事ではあくまで「遅くない(なりづらい)書き方を紹介する」ことに努めます。よって、以下のような改善点はあるが一旦考慮の外におくものとして話を進めます。 並列化ライブラリ

概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで WorldBankから GDPデータを落とす。以下のページ右上の "DOWNLOAD DATA" ボタンで CSV を選択し、ローカルに zip を保存する。解凍した "ny.gdp.mktp.cd_Indicator_en_csv_v2.csv" ファイルをサンプルとして使う。 http://data.worldbank.org/indicator/NY.GDP.MKTP.CD?page=1 補足 pandas の Remote Data Access で WorldBan

お仕事や, （個人的には）趣味のデータ分析・開発などでpandasをよく使う人です. pandasはPythonでデータサイエンスやデータ分析（解析）をやってると必ずと言っていいほどよく使うライブラリだと思います. お仕事で同僚やインターンが書いたnotebookをよく読む（レビューする）のですが, 煩雑なことやってるけどこれ一行で書けるやで 最初からデータを整理するとそんな面倒くさいことしなくても大丈夫やで ...といったコメントを返す機会が増えてきました. これらは当人たちにフィードバックしているのですが, このフィードバックの内容が案外重要な気がしてきたのでブログに書いてみることにしました. 読んだ方の理解・生産性の向上および, 「つまらない仕事が334倍楽になる」ような感じにつながると嬉しいです🙏 TL;DR pandasのread関数にはとりあえずURLを渡しておけ &使うカラ

サムネイルで出してる内容がそのままこのエントリーのテーマです. Pythonアドベントカレンダー2020の9日目です. JX通信社のシニアエンジニアで, 趣味で野球*1とヘルスケア*2なデータを分析してるマンの@shinyorkeと申します. ちょっとしたデータサイエンスでもガチのR&Dでも何でもいいのですが, プレゼンするためのスライド作るとか, デモのアプリを作るのって相当ダルくないっすか? いやまあ大事な仕事なので不可避かつちゃんとやろうぜっていうのは事実*3なのですが, 手を抜くところは手を抜くべきだなというのが持論としてありますし, 「怠惰・傲慢・短気」というプログラマーの三大美徳からするとプレゼンの準備は最も「怠惰」であるべきとまで僕は思っています. そんな中, 今年はStreamlitという, 「データを見せるアプリを雑に作ろうぜ」っていうライブラリがめっちゃ流行りました（っ

Python を Go に書き換えるとどれくらい速くなる？ 7つの言語で Dijkstra の実行速度を比較KotlinRustベンチマークJuliaDijkstra これは何 最短経路探索のアルゴリズムを使っていくつかの言語の性能がどれくらい違うかを調べてみました。 Python は手軽に実装できるけど遅い、Go は 早いけど C++ よりは遅い? 本当? のような疑問を一定解消したかったというのが動機です。 前提条件など 対象とする言語 本命 Go, Rust, C++ 興味本位 Julia Python より段違いに早ければもう少し掘ってみたい 興味本位 Kotlin 意外とトップ集団に肉薄するのではないか 参考 Python JavaScript 性能差のイメージとしては Rust == C++ > Go >> Kotlin >>> JavaScript > Python == J

はじめに 機械学習を使ったチャットボットの仕組みを理解するために、テキストを訓練データとする簡単なニューラルネットワークを作成した際の備忘録。 目的 英文テキストで作成したルールベース型チャットボットを、日本語テキストにも適用して動作させること。日本語テキストを前処理し、それをニューラルネットワークへ通せることを確認する。訓練データとして、Niantic社の"Pokemon GO"に関連したサポートページをWebスクレイピングしたものを使用した。 Nianticサポートページ 使用しているCSVファイル(GitHub) マルチクラス分類 予め用意された応答文を入力にあわせて返す「ルールベース型」を参考に、"Intents"（意図）を識別して予測するマルチクラス分類の部分までを形にした。 「生成型」ではなく、入力情報から関連した「よくある質問（FAQ）」を予測するものであるため、”RNN”で

マイクロソフトが Excel に Python を搭載することを検討しているというニュースが流れたのは１年前のことで、結構話題になりました。昨年の Python Advent Calendar 2017 では、ExcelにPythonが搭載されることを期待して「ExcelにPythonが搭載？」という記事を書きましたが、今回は、その続編を書きます。 そのニュースというのは、マイクロソフトが Excel に Python を搭載するかどうかを検討するためアンケートを実施したということなのですが、詳しく知りたい方は、Publickeyの「ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中」という記事がわかりやすいので、そちらをみてください。 その後どうなったかというと、マイクロソフトが運営しているコミュニティサイト「Excel’s Suggestion Box」に投稿されて

【用途】 エディタの選択、EmacsとかAtomとかあるけど、VSCode使いやすそうではということでVSCode整備。今のところ、pythonとmarkdownとかが書ければいいかなくらい。RはRStudioで良いし。このへんを整備するが、 また整備する機会のために個人的メモとして、記録しとく。あと、整備で詰まったところとか書き残してる。 【内容】 ＜VSCode＞ 元からsurfaceに入ってたので、それを使用。 コマンドパレットは Ctrl + Shift + P ＜python＞ python anaconda3 www.messyer813.com 分かりやすい。 Jupyter をVSCode上で展開したくて、後程、拡張でそれに関係するものを入れる。 ＜Git・Github＞ Gitが入ってなかったのと、Githubのアカウントは昔作ったまま放置してた。 これに従って入れて、整

Learn Languages 2018 というイベントで、最近のPythonについて発表してきました。 (一昨年まではLightweight LanguageでLLイベントだったのが、去年からLearn Languagesイベントになったらしい！) Python update in 2018 #ll2018jp from cocodrips www.slideshare.net せっかくなのでポイントだけでも書き起こして見ようと思います。 ここ1~2年で便利になった機能 1. The pathlib module (PEP 428) pathlibはファイルパスに関するモジュールで3.4で導入されました。 ただ、build-inのopenやos.pathモジュールがpathlib.Pathオブジェクトを受け入れられるようになったのがPython3.6(PEP519)となっています。 3.

概要 急にリコメンドに興味を持ちまして、ニュースの類似記事検索アルゴリズムを試してみました。 アルゴリズムは、自然言語分野ではよく使われているTF-IDFとCosine類似度を用いました。 TF-IDFとは 文章をベクトル化するアルゴリズムの一つです。 TF : Term Frequency。単語の出現頻度。 IDF : Inverse Document Frequency。直訳すると「逆文書頻度」。 珍しい文字が入ると値が大きくなる為、単語の「希少性」を表しているとも言えます。 各文章の単語を抜き出し、全ての単語に対してTF(その文章が保持する単語数)とIDF(希少性)を掛け合わせたベクトルを作成します。このベクトルを用いることで、文章を用いた情報検索やクラスタリングが可能になります。 詳しくはこちらの記事などが分かりやすいです。 Cosine類似度とは 2つのベクトルがどれくらい同じ向

プログラミングを知らない人でも、Pythonという言葉を聞いたことがある人は多いのではないでしょうか。 書店などに行くと、Pythonに関する書籍があふれていますが、プログラミングを知らない人からするとPythonを学ぶと何がうれしいのか、 さっぱりわかりませんよね。 そこで今回は、Pythonを学ぶとどんなことができるようになるのかを、普段プログラミングに触れていない人にもわかりやすくまとめてみたいと思います。一緒にどうやればできるようになるのかについても解説します。 ちなみに！先に言っておきますが、Pythonができると　めちゃくちゃ　便利です！また、初学者でも学びやすい言語なので、エンジニアではない人でも非常に重宝します。 このツイートに書いたとおり、Python使えると本当に便利なんですよね～ では、Pythonではどういうことができるのでしょうか。結論からいうと、 Webスクレイ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最

(English article is here) こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Pythonは、CSVなどのデータ処理、Webサービスの開発、スクレイピング、ボット作成など幅広い目的で使われているプログラミング言語です。特に最近は、機械学習・AIのなどの開発に適したライブラリが充実していることもあって注目が高まっていますよね。 ただ、Pythonを単体でインストールしても、表やグラフを作ったり、データなどを整理したりする機能はありません。 そこで、Jupyter Notebookというツールがあります。 Jupyter Notebookを使うと、ブラウザ上で簡単にプログラムを実行できるうえ、表やグラフなども表示できます。 また、Markdownなどで文章も書けるため、プログラムと文章をわかりやすくまとめることができます。このまとめたノートは

この投稿は 「python Advent Calendar 2017 - Qiita」 の 9日目の記事です。 こんにちは、akiyoko です。 「Python Advent Calendar」は 4年連続 4度目の参加になります。　*1,　*2,　*3 はじめに 皆さん、CSV は好きですよね？　Excel も大好きですね？ じゃあ当然、CSVファイルは Excel で開きますよね。 文字化けは？　・・もちろん嫌いですよね。 でも CSVファイルを Excel で開こうとしたときに、こんな文字化け地獄を経験したことはありませんでしたか？　*4 ということで今回は、Excel で直接開いたときに文字化けしない CSV ファイルを Python3 で作成する方法 を紹介したいと思います。（おまけで Python2 でのやり方も書いておきますが、今時 Python2 で消耗している人なんてい

【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 実装 from selenium import webdri

今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +

MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 開発時においてSQLiteを使うケースが増えています。MySQLなどと比べても大差ない使い勝手ですし、わざわざサーバを立ち上げることなく使えるのが手軽です。O/Rマッパーを使っているならばデータベースの違いを意識することもないでしょう。 そんなSQLiteにWebベースの管理画面を提供するのがSQLite Webです。コマンドラインから任意のデータベースを指定できるのが便利です。 SQLite Webの使い方 SQLite Webの実行はコマンドラインでできます。 sqlite-web /path/to/sqlite.database そうするとWebページが開いてデータベースの内容が確認できます。 データベース構造の確認。 内容の確認。 任意のSQLを実行できます。結果をJSON

Pythonのcsvパッケージは大変便利です。面倒なエスケープ処理をちゃんと行ってくれます。とりわけ、Excelファイルで送られてきたファイルを処理するのに重宝します。なんといっても、dialect='excel'でExcel CSVをちゃんと読めます。 ところが、日本語が絡むと問題は途端に厄介になります。問題の本質は何か。まず、ExcelのTSVの扱いに関して、以下のことが知られています。 Excelのtsvエクスポートはutf-16（BOM付き）である Excelが直接読めるのはBOM付きutf-16のtsvである（カンマ区切りはウィザードが必要） csv（カンマ区切り）出力や読み込みも可能だがおすすめできない（後述） このことからわかるのは、BOM付きutf-16ファイルを扱うのが最善ということです。これを扱う一番の方法は、ioパッケージを使うことです。 さらっと書きましたが、ioパ

pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Visualization — pandas 0.17.1 documentation これらの機能は matplotlib に対する 薄い wrapper によって提供されている。ここでは pandas 側で一処理を加えることによって、ドキュメントに記載されているプロットより少し凝った出力を得る方法を書きたい。 補足 サンプルデータに対する見せ方として不適切なものがあるが、プロットの例ということでご容赦ください。 パッケージのインポート import matplotlib.pyplot as plt plt.style.use('ggplot') import matplotlib as mpl m