はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor

Liam Tung （ZDNET.com） 翻訳校正： 矢倉美登里 吉武稔夫 （ガリレオ） 2020-09-03 14:22 Microsoftは米航空宇宙局（NASA）と協力し、プロジェクトベースの3つの学習モジュールを開発した。これらの学習モジュールは、初心者レベルのプログラマーを対象として、宇宙探査や隕石の分類、天候によるロケット打ち上げ延期の予測などに、プログラミング言語「Python」と機械学習のアルゴリズムをどう利用すればいいのかを教えてくれる。 モジュールを最後まで受講するには、「Windows」PCか「Mac」、あるいは「Linux」を搭載したPCが必要だ。プログラミング言語とは何か、Microsoftのコードエディター「Visual Studio Code」の使い方、Python向け拡張機能のインストール方法、VS Code内で基本的な「Jupyter Notebook」

このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2.  データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (

NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste

2. About the speaker • 職業 : セキュリティエンジニア • 所属 : 三井物産セキュアディレクション • 趣味 : 脆弱性スキャナ作り、機械学習 • ブログ: http://www.mbsd.jp/blog/ • Black Hat Asia Arsenal, CODE BLUE / 2016 • 情報セキュリティEXPO / 2017 • 勉強会「AISECjp」を主催 高江洲 勲 Takaesu Isao PYCON JP 2017 Twitter: @bbr_bbq MBSD

4. 3 会社紹介 ≪書籍≫ 『One to Oneマーケティングを超えた 戦略的Webパーソナライゼーション』 (出版社：日経BP社 発売：2002年5月） 弊社代表トーマス・フォーリーの著書です。 ≪受賞歴・メディア掲載≫ 社名 ： 設立 ： 代表者 ： 資本金 ： 事業内容： 所在地 ： シルバーエッグ・テクノロジー株式会社 1998年8月 代表取締役兼CEO トーマス・フォーリー 242百万円 （2016年10月26日現在） 人工知能技術をベースとした、 リアルタイムレコメンドサービスおよび ターゲティング型広告サービスの提供。 【大阪本社】 〒564-0063 大阪府吹田市江坂町1-23-43 ファサード江坂ビル10F 【東京オフィス】 〒102-0072 東京都千代田区飯田橋2-6-6 ヒューリック飯田橋ビル5F スマートターゲティング技術で、リアルタイムレコメンドサービス『ア

筆者は学生時代からプログラミングをそれなりにやってきた。これまで必要に応じてC/C++やObject Pascalなどのプログラミング言語や、Ruby、PowerShellといったスクリプト言語を使ってきた。しかしPythonは、Rubyがあれば十分だと感じていたので、なんとなく手を出しかねていた。 しかし日経NETWORKでスクリプトを使って通信ソフトの仕組みを紹介する企画を考えたとき、ディープラーニングや機械学習、データサイエンスなどでもてはやされていることもあり、Pythonを使ってみようと企んだ。実際問題として、日経NETWORKで筆者が何度となく取り上げて「推して」いたPowerShellだと、通信ソフトに不可欠なマルチスレッドの記述がやりにくい、という事情もあったのだが。 実際に使ってみて、「Pythonやるなあ」と思ったことがいくつかある。記述のしやすさがその一つ。インデント

教育言語として Pythonは「同じインデントレベルの文は同じ塊」というルールを採用しており、見掛け上のPythonプログラムの最大の特徴となっています。 Python作者のGuido van Rossum氏(オランダ人でアムステルダム大学卒)はPythonを開発する以前に、オランダで教育向けの「ABC言語」の開発に関わっており、Python自体はRAD(迅速なアプリケーション開発)がメインで教育用を念頭に開発してはいなかったものの、ルーツとなったABC言語では文法に関してさまざまな研究が行われ、インデントを使うのが初心者にとってもっとも間違いにくいブロックの表現として採用していたのです。(Donald Knuth氏が推進していた。) Rubyist のための他言語探訪 【第 1 回】 Python Pythonがプログラミングの学習に向いているたった一つの理由 From ABC to P

ここでは少しの間、自律走行車のことは忘れてください。物事は深刻になってきています。この記事では、独自のコードを書くマシンを作ることに的を絞って話を進めていきたいと思います。 GlaDoS Skynet Spynetを使用します。 具体的に言うと、Pythonのソースコードを入力することで、自分でコードを書くように、文字レベルでのLong Short Term Memoryニューラルネットワークを訓練していきます。この学習は、TheanoとLasagneを使って、EC2のGPUインスタンス上で起動させます。説明が曖昧かもしれませんが、分かりやすく説明できるように頑張ってみます。 この試みは、 こちらの素晴らしいブログ記事 に触発され行うに至りました。皆さんもぜひ読んでみてください。 私はディープラーニングのエキスパートではありませんし、TheanoやGPUコンピューティングを扱うのも初めてで

このエントリーは以前書いた機械学習で積雪の有無を予測してみたの続編です。この時は積雪の有無(1か0か)だけを予測したのですが、もうちょっと頑張って積雪量の変化を予測してみました。 先に結果を記しとくと、こんな感じになりました。横軸が日数、縦軸が積雪量(cm)です。 結果その1（青が実際の積雪量、赤線が予測した積雪量） 結果その２（青が実際の積雪量、赤線が予測した積雪量） 「結果その１」と「結果その２」がそれぞれ何なのかは以下を読んでみてください。 やりたかったこと 以前、機械学習で積雪の有無を予測してみた で scikit-learn を使って積雪の有無を予測してみたのですが、ちょっと欲が出てきて、有無じゃなくてまとまった期間の実際の積雪量（cm）を予測してみたい、と思ってやってみました。 具体的には、気象庁から提供される 積雪量 風速 温度 などの気象データを取得して、そのうち最初の約7

強力なライブラリを豊富に備え、科学計算から統計分析、金融工学まで利用が広がるPython。スクリプト言語とは思えない高速性の秘密が、NumPyやSciPyなどのPythonパッケージで広く使われているCythonです。CythonはPythonプログラムの実装を高速化するコンパイラであると同時に、C/C++で書かれたライブラリをPythonから利用できるようにするブリッジとしての役割も果たします。本書はPythonの表現力とC/C++の速さを備えたCythonを使って、高速なシステムを効率的に開発する手法を示します。科学技術計算や統計分析の分野では恒常的にある「Pythonを高速化したい」というニーズに応える一冊です。 はじめに 1章　Cythonの基本 1.1　Python、C、Cythonの比較 1.1.1　関数呼び出しのオーバーヘッド 1.1.2　ループ処理 1.1.3　算術演算 1

この記事はRuby Advent Calendar 2014の13日目の記事です。 初めに Rubyを教育・研究に使おうという試みはRubyの黎明期からありました。 この時期の有名なパッケージとしてはバイオインフォマティクスのBioRubyや地球科学の電脳Rubyプロジェクトが有名です。 先述のBioRubyやGPhys(電脳Rubyの成果物)は現在も更新が続けられており、多数の利用者を抱えています。 しかし全体として見た場合、科学の分野で使われるLL言語としてRubyはPythonやRの後塵を拝している印象があります。 科学計算における均質化、あるいはなぜPythonが着実に他言語のシェアを奪っているか 記事のようにこの分野ではPythonコミュニティが非常に活発で、機械学習など新しい技術は真っ先にPythonで実装されるようになっています。 しかし最近Rubyでも少しずつですが環境が充

サイトの構築。作品の販売。ブログの投稿。この他にもさまざまな機能があります。 ログイン サイトをはじめよう 非公開サイト このサイトは現在プライベート設定になっています。

これまでデータ・サイエンティストの選ぶプログラミング言語はRだったのだが、急激にPythonに置き換わろうとしている。 このシフトの理由はいくつかあるようだが、第一にはPython自体が汎用的で比較的学びやすい言語であるのに対し、Rが習得するにあたってやや複雑であることがあげられるだろう。 データにますます依存しつつある現代社会とデータに飢えたサイエンティストにとっては「簡単さ」こそが鍵となるのだ。 Rは実際にはプログラミング言語ではないRを覚えることに苦労する人が多い理由として考えられるのは、Rが実際にはプログラミング言語ではないからかもしれない。R専門家のジョン・クックいわく、Rとは「統計のためのインタラクティブな環境」であり、厳密にはプログラミング言語ではないのだ。彼はさらに「Rをプログラミング言語だと考るのではなく、Rがプログラミング言語を内包しているのだと考えた方が良いと分かった

私は情報収集にはてなブックマークを多用しており、暇な時は結構な割合ではてなブックマークで記事を探してます。しかし、はてなブックマークは最新の記事を探すのは便利ですが、過去の記事を探すにはいまいち使えません。個人的には多少過去の記事でも自分が興味を持っている分野に関しては、レコメンドして欲しいと感じてます。 ありがたいことにはてなはAPIを公開しており、はてなブックマークの情報を比較的簡単に取得できます。そこでこのAPIを利用して自分に合った記事を見つけるようなレコメンド機能をRとPythonで作成してみたいと思います。 利用するデータは、はてなAPIを使って収集します。具体的には、はてなブックマークフィードを利用して自分のブックマークしているURLを取得し、そのURLをブックマークしているユーザをエントリー情報取得APIを用いて抽出し、そのユーザのブックマークしているURLを収集します。こ