東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門　東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip

こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com （スター★お待ちしております🙇‍♂️）

レストラン事業部エンジニアの id:ninjinkun です。 一休レストランでは10年以上動いているシステムをPython 3で書かれた新システム（以下restaurant2）に順次移行する作業を進めています。現在ではPC用のレストランページ や主要な API を含め、いくつかのページがrestaurant2で提供されるようになっている状態です。本記事ではこの移行の経緯と、restaurant2システムの詳細、Pythonを選んだ理由、現在の進捗状況をお伝えします。 経緯 一休レストランはサービスローンチ時よりClassic ASP（言語はVBScript）でシステムが構築されてきました（こちらに驚かれる方も多いと思いますが、歴史的経緯という言葉で強引にまとめて話を先に進めます）。このシステムは現在も一休レストランを支えているのですが、長年の改修による複雑性の増加、言語の古さ、言語機能の

1. 本Part概要 前PartではB'zの歌詞を「TF-IDF」を用いた分析を行いました。 本Partではトピックモデルの一つである「LDA」を用いた分析についてお話しします。 pira-nino.hatenablog.com 2. LDAとは 2.1 LDAのイメージ 先に簡単な説明をしてしまいます。 LDAは「たくさんの文書データから単語のグルーピングを行う」モデルです。 このグループ1つ1つを「トピック」と呼びます。 例えば、大量のニュース記事にLDAを適用する例を考えます。 ニュース記事データにLDAを適用した例 LDAでは「各トピック（トピック数は予め指定）における各単語の所属確率」が算出されます。 理論的なことはさておき、文書データから単語をいくつかのグループに自動で分けてくれる手法 との理解で大丈夫です。 よく勘違いされることとして以下の2点を示します。 トピック数（いくつ

この前Coderetreatというイベントに参加してライフゲームを実装した際、チャレンジ目標に「条件分岐禁止」や「ループ禁止」があった。 イベント中はやれなかったので、今回挑戦してみる。 ライフゲームってのはこんな感じのやつ。 #課題 ライフゲームを実装する (ルールの詳細はリンク先参照、一部抜粋) ライフゲームのルール ライフゲームでは初期状態のみでその後の状態が決定される。碁盤のような格子があり、一つの格子はセル（細胞）と呼ばれる。各セルには8つの近傍のセルがある (ムーア近傍) 。各セルには「生」と「死」の2つの状態があり、あるセルの次のステップ（世代）の状態は周囲の8つのセルの今の世代における状態により決定される。 セルの生死は次のルールに従う。 誕生　死んでいるセルに隣接する生きたセルがちょうど3つあれば、次の世代が誕生する。 生存　生きているセルに隣接する生きたセルが2つか3つ

Matplotlibグラフ描画ライブラリMatplotlibのチートシートまとめ。 こちらもdatacampから。

OSSユーザのための勉強会#19

データ視覚化のいろはを無視したグラフはニュースや学術論文によく現れます。いろんな資料からかきあつめたり苦労して測定したデータ、あるいは自分の部署の成果をかっこよく見せたい気持ちはわかりますが、たいていの場合「よく見せる」という欲求は色の濫用や3D化などデザイン要素の足し算として現れがちです。結果としてよく見せたいデータがごちゃごちゃした印象になってしまい、メッセージを読み取りにくいだけでなく時に誤解を生む図に仕上がってしまっていることも多いでしょう。 「データ視覚化のいろは」とは書きましたが、自分は実際に体系的に学んだことがあるわけではなく、ウェブや論文などで目にした良い例と悪い例からぼんやりと「こうすべきなのかな」という指針を認識している程度です。そんな折に、UXやUIを突き詰めたサービスで有名なTHE GUILDの方がデータ視覚化に関するnote記事を公開しているのをみつけました。 デ

このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2.  データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (

はじめに Pythonの対象バージョンは3系です。（2系でも通じるものは多いはず） 対象読者レベルは他言語を軽くでも触ったことある人です。「あー、Pythonだとこれはこう書くのねー」が網羅的に分かるようにまとめたつもりです。 ここではWEBアプリケーションフレームワーク(DjangoとかFlaskとか)に関してはほぼ触れません。 @shiracamus 多くの有益なコメントと編集リクエストありがとうございます。 Python開発環境構築 下記（私の記事ですが）はWindowsでの構築となっていますが、Macでもほぼ同じ通りにできます。 今からWindowsでベストなPython開発環境を構築する手順 Pythonについて 今最も勢いに乗っているプログラミング言語。 オブジェクト指向。Pythonでは全てがオブジェクト。 動的言語（スクリプト言語）のため、変数宣言時に型を明示的に定義しない

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最

NumPyを使ってみよう 様々な配列を作る インデックスとスライシング ブロードキャスティング NumPyの高速演算 NumPyは、Pythonで多次元配列を扱う数値計算ライブラリです。 NumPyを使うことで 研究のプロトタイプを簡単に実装できる 数多くのライブラリを使い、高度な機能をシステムに組み込める 高速な行列計算ができる など様々なメリットがあります。 本記事では、NumPyに興味を持っている人や簡単にでも使えるようにしたい人向けに一通り読めばどのような機能があり、便利なのかを知ることができるように書いています。 本記事を参考にして、日々の業務や研究に活用してください。 NumPyを使ってみよう まずはPythonを立ち上げます。 python3 まずはNumPyをインポートします。 慣例としてNumPyはnpとしてインポートすることが多いです。 >>> import numpy

オープンソース デベロッパー カンファレンス の寺田の発表

******************************************************* 【お得なマガジンもあります】 セット割で、3000円ほどお得になります。現在、3本のチュートリアルが利用できます。 LINE Botの作成を学べるコースです。以下のチュートリアル3点が、セット割で購入することができます。 ・【AIプログラミング】LINEに画像を送ったら自動で文字起こししてくれる機械学習アプリを作ろう ・スケベAI「スケベ博士」をPythonとGoogle Apps Scriptで作るスケベ・チュートリアルを公開します ・JavaScriptだけで書ける！LINEからDMMのサンプル動画が見れる、「変態コンシェルジュ」を作ろう！ ******************************************************* #未経験からスケベエンジ

NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

背景 最初にPythonを触ったのは、かれこれ4年くらい前でした。(ブランクもありPython歴は2年弱くらい) 当時は業務で必要に迫られ体系的に学ぶ時間もなく、引継ぎされたコードを解読するという勉強方法でした。 これまで必要最低限の知識でやり過ごしてきましたが、同僚がPythonを勉強始めるということで、私もこれをきっかけに勉強しようと思いました。 私の無知さを晒しますが、私のようななんちゃってPython始めましたという人のお役に立てればと思いまとめます。 利用用途 データ加工 データ分析 まとめた内容（随時更新） 順番などばらばらとなります。 みんなが1行目に書く例のあれ 以下のどちらかをよく見かける。（私はおまじないと教わりました。ｗ） #!/usr/bin/python #!/usr/bin/env python これはPythonを実行するときスクリプトの前にpythonとつけ

こんにちは。花粉が飛んでいますね。 さて、KNIMEの使い方を主な題材としている本ブログですが、前回 こんな記事を書いてみました。 記事内でも触れましたが、私プログラミングとか全然やったことないです。なので、pythonコード書く部分は結構時間かかりました。既存ライブラリを使ってるだけなので特に頭を使うこともなく簡単なはずなんですが、 お作法がわからん場合が多い ライブラリ名、関数(class)名を知らない など低経験値が引き起こす問題が結構あります。 で、少しずつ慣れていこう！と思って、もう一度復習してたんですが、 qiita.com こんな記事が目について、PyCharmをインストールしみました。右も左もわからない私に、"最強"とかキャッチーなフレーズ。食いついてしまいました。 結果、入れてよかったです。 前回のtSNEのコードは何も見なくてもかけるようになりました。 インストールの方

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?