RustでFFI関連の練習をした。 すべてWindows MSVC環境。 FFI = Foreign Function Interface（他言語の関数を使うためのインターフェイス）。 異なる言語を組み合わせて使うための技術的仕様。 簡単に言えば「C言語の仕様に合わせる」ことで実現している。 ※7/26追記 コメントでの指摘を受けて、誤っていた箇所を訂正。 ※8/5追記 Pythonスクリプトの不具合を修正。 要点 Rust製ライブラリをC言語で使う Rust製ライブラリをPythonで使う C言語製ライブラリをRustで使う 補足 参考 要点 C言語をコンパイルするには「x64 Native Tools Command Prompt」を使う。 Rust～C言語間では静的リンク（.lib）で連携させる。 ※7/26訂正 Rust～Python間では動的リンク（.dll）で連携させる。 リン

2022年5月24日（米国時間）、SANS ISCのフォーラムでPython向けライブラリの1つ（その後PHP向けライブラリでも判明）が第三者により不正なコードを含むアップデートが行われていたとして注意を呼び掛ける投稿が行われました。その後この行為に関わっていたとして実行者とみられる人物が顛末を公開しました。ここでは関連する情報をまとめます。 改ざんされた2つのライブラリ 今回影響が確認されたのPython Package Index（Pypi.org）で公開されている「ctx」、Packagist（Packagist.org）で公開されている「PHPass」の2つ。 影響を受けたライブラリ インストール実績 改ざんされたとみられる期間 概要 ctx 約75万回 2022年5月14日～5月24日頃 辞書(dict型オブジェクト)を操作するユーティリティを提供するPython向けのパッケージ

本記事は2021年9月27日に公開したPython security best practices cheat sheetを日本語化した内容です。 2019年、Snykは最初のPythonチートシートをリリースしました。それ以来、Pythonのセキュリティの多くの側面が変化しています。開発者向けセキュリティ企業として学んだこと、そしてPython特有のベストプラクティスに基づいて、Pythonのコードを安全に保つために、この最新のチートシートをまとめました。 【チートシート】2021年版Pythonセキュリティベストプラクティス 本記事では、下記に関するPythonのセキュリティに関するヒントを紹介します。 外部データを常にサニタイズする コードをスキャンする パッケージのダウンロードに注意 依存先パッケージのライセンスを確認する システム標準版のPythonを使用しない Pythonの仮

最小限のPythonコードでAutoMLを実現するローコード機械学習ライブラリ「PyCaret」：AutoML OSS入門（6）（1/4 ページ） AutoML OSSを紹介する本連載第6回は、ローコード機械学習ライブラリ「PyCaret」を解説します。さまざまな機械学習ライブラリのラッパーであるPyCaretは、データ分析のあらゆる工程でコードの行数を削減します。

日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。最終回はローソク足とともにこれまでに計算したオシレーターなど一式を1つのグラフで表示する方法や過去の株価データを基にした株価予測の方法を解説します。

R&Dチーム2年目の葉山です。巣ごもりの影響...はあまり関係なく元からですが、もっぱら自宅で映画ばかり見ています。バイオレンスな映画が好きです。最近は業務でMultiple Object Trackingを扱っており、トラッキング処理の実装に四苦八苦しています。 今回はMultiple Object Trackingの基本的な解説と、アルゴリズムや便利なライブラリを紹介していきたいと思います。 Multiple Object Trackingとは？ MOTの手法やライブラリなど MOTベンチマークで顕著な成績を残しているモデルたち FairMOT TransMOT（STGT） その他の手法やライブラリ FastMOT motpy MOTの評価指標 評価指標を測るライブラリ py-motmetricsの使い方 終わりに Multiple Object Trackingとは？ Multipl

クラウドネイティブ技術を日本にも浸透させることを目的に開催された「CLOUDNATIVE DAYS Spring 2021 ONLINE」。ここでVMwareの伊藤氏が「脱 Dockerfile！　Cloud Native Buildpacksとkpackを使った簡単で安全なイメージ」をテーマに登壇。まずは、Dockerfileの問題点とCloud Native Buildpacksについて紹介しました。 トーク内容の目次 伊藤裕一氏（以下、伊藤）：「脱 Dockerfile！　Cloud Native Buildpacksとkpackを使った簡単で安全なイメージ」という内容について、伊藤がお話しします。 目次です。最初にDockerfileのおさらいと、問題点を話します。そして、Dockerfileを使わずにビルドを実施するCloud Native Buildpacks（CNB）の概要と

概要 こんにちは、機械学習エンジニアの古賀です。 最近、人の動きを時系列で解析するためにグラフデータを扱ったのですが、データ量が大きくなると解析に時間がかかってしまい、効率が悪いと感じることがありました。 そんな中、cuGraph という高速にグラフ分析ができるライブラリが あることを知ったので、どれくらい高速なのか、有名なページランクの計算を題材に他のライブラリと速度を比較してみました。 目次は以下です。 概要 グラフとは Python によるグラフデータの分析 cuGraphとは ページランクとは ページランク値の定義 ページランクとグラフ 検証 実行環境 cuGraph ライブラリのインストール ライブラリのインポート データセット 検証内容・結果 1. NetworkX のグラフ、NetworkX のアルゴリズムを用いてページランクを計算 2. NetworkX のグラフ、cuGr

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「TensorFlow」は当初、Google Brain Teamのディープラーニング研究プロジェクトだったが、Googleの50のチームの共同作業によって新たなオープンソースライブラリーとなり、「Google Assistant」「Google Photos」「Gmail」「Google Search」など、Googleのエコシステム全体に展開された。GoogleはTensorFlowを導入したことで、知覚や言語理解のタスクを使用して、ディープラーニングをさまざまな分野に応用することができる。 この入門記事では、TensorFlowに関する最新情報を紹介する。 概要 どんなものなのか：Googleは世界最大の機械学習インフラストラクチ

Googleアカウントさえあれば無料でPythonの機械学習プラットフォームが使えるColaboratory(通称Colab)というサービスがある。既に本連載でも何度か紹介したことがあるが、3月末に待望の有料プランが日本でも始まった。有料プランでも制限はあるもののGPUを備えた超高性能マシンが月1072円で使い放題になったのは大きい。実際に有料版を試してみたので使い勝手を紹介しよう。 1072円で高性能マシンが使い放題に Colabについて復習してみよう まずは、改めてPythonのColabについて紹介しよう。一言で言うならGoogle Colabはブラウザ上で使えるPythonの実行環境だ。Googleが無料で提供しており、教育用途や研究用に使えるものだ。 そもそもPythonで人工知能(AI)を、特に機械学習を試してみたいという人は多いことだろう。ところが、Pythonや機械学習の実

「spaCy 3.0.0」では、新機能としてマルチタスク学習をサポートするトランスフォーマーベースのパイプラインや、18以上の言語用に再トレーニングされたモデルファミリーと5つのトランスフォーマーベースパイプラインを含む計58のトレーニング済みパイプラインが追加されている。 ほかにも、サポートされているすべての言語用に再トレーニングされたパイプラインとともに、マケドニア語とロシア語用の新しいコアパイプライン、新しいトレーニングワークフローと構成システム、PyTorch、TensorFlow、MXNetといった機械学習フレームワークを使用したカスタムモデル、前処理からモデル展開までのエンドツーエンドのマルチステップワークフローを管理するためのspaCyプロジェクトが実装された。 機能改善としては、データバージョン管理（DVC）、Streamlit、Weights＆Biases、Rayなどとの

【2020年新人研修資料】 ナウでヤングなPython開発入門

こんにちは、AIチーム所属の@shidoです。CRE (Customer Reliability Engineering) 領域でMLを扱っています。 みなさんはPythonで本番コードを書くことについてどうお考えでしょうか。「研究/分析以外には使いたくない」「遅い」「動的型付け言語を本番用に使いたくない」といった声が聞こえてきそうです。 しかしながら機械学習サービス(または機械学習サービスのためのサービスなど)を作りたい場合、「学習に利用したPython用のライブラリを使用したい」「Pythonでやっていた分析と同じことを本番環境内でもやりたい」など、Pythonでバックエンドを実装したくなることがあると思います。 この記事ではtype hintsを付けながらPythonを書くことで、GoやJavaのようなサーバーサイドでよく使われる言語と可読性や保守性、場合によっては型安全性も同じレベ

35歳から Python で競プロを始めて2年が経ちましたが、やっと AtCoder で橙になることができました！ ふぁぼ、コメントもたくさん頂きありがとうございました。 競プロを始めて2年、なんとか橙になることができました。 pic.twitter.com/r0GwrNogHi — きり (@kiri8128) October 31, 2020 RTA 途中経過 最初のRatedから青まで：3か月（Rated 7回） 青から黄色まで：7か月（Rated 17回） 黄色から橙まで：1年3か月（Rated 24回） －－－－－ 橙はだいぶ遠い存在という印象だったので、達成できて嬉しいです。 まだまだ上を目指していきたいと思いますが、ひとまずの区切りとしてこれまでにやったことなどを書いておきます。 スペック 某京都大学というところで9年ほど *1 数学（代数学・代数幾何学）などをやっていた *

PyCon JP 2020 での発表スライドです。 GitHub: https://github.com/taishi-i/toiro/tree/master/PyConJP2020

時系列モデルを扱う上でデファクトスタンダードになりそうなPythonライブラリが出てきました。 時系列モデルを扱うPythonライブラリは、 scikit-learn のようなデファクトスタンダードなものがありません。そのため時系列モデルを用いて実装を行うためには、様々なライブラリのAPIなどの仕様を理解しつつ、それに合わせてデータ整形を行い、評価する必要があり、これはなかなか辛い作業でした。 スイスの企業 Unit8 が今年(2020年)6月末に公開した Darts はまさにこういった課題を解決するライブラリです。時系列に関する様々なモデルを scikit-learn ベースのAPIで統一的に扱うことができます。 github.com Darts は現在、下記のモデルに対応しています。内側では statsmodels 、 Prophet(stan) 、 Pytorch などを使っていて、

フロント（SPA）開発案件2つのプレイングマネージャーと開発リーダーやってますが、JavaScriptが死ぬほど嫌いです。 ブラウザ上で動作するスクリプトなので仕方ないし、async-awaitで大分便利になったけど、非同期処理がやっぱり好きじゃないです。 JavaとかPythonとかそれなりの期間触った言語は大概「みんな違ってみんないい」みたいな感じになるんですが、JavaScriptだけそうならないので本当に嫌いなんだと思います。 因みにCSSはもっと嫌いです。 機械学習モデルの構築をPythonで実装することは多いと思いますが、ちょっとしたデモアプリでも作るとなると、フロント側はどうしてもHTML、JavaScript、CSSで組まないといけないです。 Jupyter Notebookも選択肢に入るかもしれませんが、Webアプリと比べると表現の自由度は下がるし、コードセルが見えるのは

R&D チームの徳田（@dakuton）です。 最近、spaCyの日本語版モデルが正式サポートされたのでいろいろ触ってみたところ、解析結果ビジュアライズを全部まとめるStreamlitアプリも同じ月に提供されていることがわかったので、今回はそちらを紹介します。 なお、ビジュアライズ機能の一部(係り受け解析)は1年前の記事「その他」で紹介しています。 tech-blog.optim.co.jp 実行手順 spaCyのUniverseプロジェクトであるspacy-streamlitをインストールします。 pip install spacy-streamlit 起動用スクリプト(streamlit_app.py) import os import pkg_resources, imp import spacy_streamlit models = ["ja_core_news_lg", "ja_