今回はソケットプログラミングについて。 ソケットというのは Unix 系のシステムでネットワークを扱うとしたら、ほぼ必ずといっていいほど使われているもの。 ホスト間の通信やホスト内での IPC など、ネットワークを抽象化したインターフェースになっている。 そんな幅広く使われているソケットだけど、取り扱うときには色々なアーキテクチャパターンが考えられる。 また、比較的低レイヤーな部分なので、効率的に扱うためにはシステムコールなどの、割りと OS レベルに近い知識も必要になってくる。 ここらへんの話は、体系的に語られているドキュメントが少ないし、あっても鈍器のような本だったりする。 そこで、今回はそれらについてざっくりと見ていくことにした。 尚、今回はプログラミング言語として Python を使うけど、何もこれは特定の言語に限った話ではない。 どんな言語を使うにしても、あるいは表面上は抽象化さ

2. データサイエンティスト 2 今世紀でもっともセクシーな職業 ハーバード・ビジネス・レビュー 2013年年2⽉月号 2018年年までに⽶米国で14〜～19万⼈人不不⾜足 マッキンゼー 2011年年5⽉月 求められるスキル ビジネススキル，機械学習／ビッグデータ， 数学／OR，プログラミング，統計 Analyzing the Analyzers, O’reilly 2013 4. 本⽇日お話すること 4 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス 教師あり学習(後述)寄りの内容が多いです

データサイエンスとかけ離れた恣意的な表ですが、Jupyter Notebookを使えて損はないのは本当です。 RStudio (pythonはSpyder)もよいですが、 セクシーさ 再現性確保の観点で見るとマークダウンでコメントが残せるJupyter Notebookの方が分があります。 データサイエンティストでなくてもコーディングの過程が保存できるのでおすすめです。 Jupyter Notebookとは? Pythonには元からインタラクティブシェルがついていますが、それで物足りない人たちがIPython(Interactive Python)というインタラクティブシェルを作っていました。 IPythonの使い方より特徴を抜粋 セル指向のコーディング: セルという単位でまとめて実行できます 予約語や変数、モジュール名などのタブ補完 オブジェクトの調査: オブジェクト名に?をつけると詳細

文：Daniel Sim　分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた

Pythonプログラマーというか、元々Python（ときどきR、C言語）で数値シミュレーションをしていた学生が、就職してRubyでWeb開発を行うにあたって勉強したことを書き連ねていくだけの記事です。 もし自分と同じような立場の人（これから後輩としてもどんどん増えていくかも！）がいたら、「ここを押さえておけばRubyは問題なく書けるよ」と教えられるように書いておきます。というのも、レビューを行っていた先輩とのプログラミングのスキルとの開きがあり、先輩も私も「どこが分かってないのか説明できない」状態になってしまってお互いに困ってしまった経験があるからです。 RubyとPythonはよく似ているのですが、思想や見た目で違う部分が多く、片方を勉強するともう片方の理解も深まります。 たまに2ちゃんねるのオカルト板である「見たことある世界によく似た異世界に迷い込んだ」みたいな感覚で、なかなか面白い経

OpenCV（オープンシーヴィ）は多機能なコンピュータビジョンライブラリで、動画や画像の処理に幅広く利用できるさまざまな機能が実装されています。 動画・画像処理を用いたアプリやサービスを開発するために、OpenCVを学びたいと思っている方は少なくないのではないでしょうか。 そこで今回は、OpenCVが学べる資料（記事・サイト・スライド）を10個ご紹介します。 OpenCVを基礎から解説している資料を中心に紹介していますので、OpenCVの学習にぜひご活用ください。 OpenCVがわかる記事・サイト 10分で学ぶOpenCV超入門 / MetaArt http://iphone.moo.jp/app/?p=1101 「画像を読み込み表示する」「画像のサイズを変更する」「画像をグレースケール化する」「画像を2値化する」、以上の4つのOpenCVを使ったプログラムについて学べる記事です。 各コー

Mac (OSX Yosemite) に PyCharm Professional Edition をインストールして、Django プロジェクト開発環境の設定をします。 やりたいこと Mac (OSX Yosemite) に PyCharm Professional Edition をインストール 各種初期設定 GitHub から Django プロジェクトを Clone Vagrant の仮想サーバとの連携設定 仮想サーバとのソースコードの同期設定 前提条件 クライアントマシンは、OSX 10.10.5 (Yosemite) 以下は Mac にインストール済み（手順は以下の 過去記事 を参考） Homebrew & Homebrew Cask pip virtualenv JDK 1.8 Git Vagrant & VirtualBox ＜過去記事＞ akiyoko.hatenablo

TensorFlowで株価予想シリーズ 0 - Google のサンプルコードを動かしてみる 1 - 終値が始値よりも高くなるかで判定してみる 2 - 日経平均225銘柄の株価予想正解率ランキング〜 3 - 日本3506銘柄の株価予想ランキング 4 - 実際に売買したら儲かるのかシミュレーションしてみる 5 - 大きく上がると予想されたときだけ買ってみるシミュレーション 6 - 学習データの項目を増やす！隠れ層のサイズも増やす！ 7 - 株価が何%上昇すると予測したら買えばいいのか？ 8 - どの銘柄を買うか 9 - 年利6.79% 前置き 猫も杓子もディープラーニングディープラーニング。なにそれ美味いの？ って感じだけど、 2015年末に Google が書いた 「Machine Learning with Financial Time Series Data on Google Clo

プログラミング言語Pythonの習得を目的としたサイト、Python-izmです。 入門編、基礎編、応用編などカテゴリ分けされていますが、すでにPythonの基本構文、実行方法等を習得されている方は入門編を飛ばしてご利用ください。これからPythonを学習する、という方は入門編 – Pythonとはより順にご利用ください。また本サイトは主にPython 3系を用いていますが、3系と比較して大きく異なる場合は Python 2系のコードも掲載しています。バージョン2系と3系の違いは2系と3系の違いを参照してください。 お知らせ 2018/01 サイトのリニューアルに伴い、Python 3系への対応、SSL化を行いました。今後ともPython-izmを宜しくお願い致します。 Pickupコンテンツ 各プログラミング言語の実行までの手順をまとめました。Pythonは他の言語と比較しても容易に実行

Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

2016/2/4 「ソフトウェアジャパン　ビッグデータ活用実務フォーラム」でのプレゼン資料です。 主にPythonで書いたコードの高速化の話です。タイトルと中身がマッチしない感じがするのは自覚しています。Read less

皆さんこんにちは お元気ですか。私は元気です。 今日はPythonにおける便利記法を書いてみます。 他の言語しか使ったこと無い人もぜひ ※1/25間違いかと思われる箇所の加筆修正を実施 リストに関するイテレーション enumerate（インデックスとオブジェクトのループ） zip（同時に２つのオブジェクトでループ） yield（途中で一旦返す） for-else（forで途中で停止しない場合の条件） リスト内包表記 Collections Counter default dict（辞書のデフォルト値設定） Sort（ソート） sorted if文の書き方 Fileに関する処理（with） in（オブジェクトに存在しているかどうか） 関数について 返り値を複数返す。 関数のオブジェクト化 参考文献 リストに関するイテレーション enumerate（インデックスとオブジェクトのループ） enu

Taking care of business, one python script at a time Introduction In the python world, there are multiple options for visualizing your data. Because of this variety, it can be really challenging to figure out which one to use when. This article contains a sample of some of the more popular ones and illustrates how to use them to create a simple bar chart. I will create examples of plotting data wi

サーモン大好き横山です。 Pythonを使うとき、システムの環境を汚さずPythonのコードを書くときに便利です。 今回その導入方法を説明していきたいと思います。 Pythonのバージョンごとのvirtualenvのインストール Amazon Linux 2015.03を使う場合に、新規AMIから使う場合と2014.09以前からアップグレードしてきた場合とで、 Pythonのバージョンが異なる事があります。 以下、バージョンによってvirtualenvのインストールして下さい。 Python2.7系の場合 $ python -V Python 2.7.9 $ sudo yum list installed | grep python27-virtualenv (何も表示されなければ、インストールされていない) $ sudo yum install -y python27-virtualen

Pythonで音声信号処理（2011/05/14）の第20回目。 以前、ケプストラム分析（2012/12/21）のところで声道の特性を意味するスペクトル包絡を求めた。今回は、線形予測分析（Linear Predictive Coding）という別の手法でスペクトル包絡を求めてみた。この方法で求めたスペクトル包絡は、LPCスペクトル包絡（LPC Spectral Envelope）と呼ばれるとのこと。 線形予測分析 以下の説明は、 Linear Prediction and Levinson-Durbin Algorithm (PDF) の資料を参考にしました。ここでは、詳しい導出は省いて、プログラミングできる結果だけをまとめています。 線形予測分析では、過去の信号から未来の信号を以下の式で予測する。 この式は、時刻nの信号の予測値は、過去k個の信号値に重み係数 a_i で重み付けして足し合

動機 仕事で変化点検知をする機会がありました。その時は時間がなかった事もあり、yokkunsさんがやられていたARIMAモデルを使ったアルゴリズムを参考にさせていただき作りました。ただ、ARIMAモデルだと色々と面倒なところがあったのでkalman filterで書き換えを試みた次第です。 ARIMAモデルの問題点 パラメタ調整が面倒 対象とするwindow以上のデータが溜まるまで解析できない window内に同一データのみが並んだベクトルとなった場合、逆行列が計算出来ない 参考文献 データマイニングによる異常検知 ベイズ統計データ解析 (Rで学ぶデータサイエンス 3) 主に参考にしたのは、みんな大好き「データマイニングによる異常検知」です。 概要 計算ステップは以下のとおりです。 計算は大きく分けて、学習ステップとスコア計算ステップに分けることができます。 学習ステップ こちらは新しいデ