JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ

はじめに システム作ってるとかライブラリ作ってるみたいなある程度Pythonを綺麗に1書くことが求められる方々に向けた記事です。 (機械学習系のライブラリを使うためにPython書いてる方とか、初学者の方にはちょっとあわないかも知れません) 綺麗に書くための作法の難しさって共有が面倒なところだと思うんですよね。その書き方は間違いじゃない、間違いじゃないけどもっといい書き方があるぞみたいなやつってなかなか指摘し辛いですし、じゃあ1人に対してレビューしたら他のメンバーにはどう伝える？そもそも伝える必要？俺の工数は？みたいになりがちです。 一番いいのはこういう時はこう書く！みたいなドキュメントを作って「ドキュメント違反です」ってレビューをしてあげることなんですが、まーそれもそれで超面倒じゃないですか。なのでこの記事がそのドキュメントの代わり、とまではいかなくとも礎くらいになればいいなと思って書き

オブジェクト指向 1. オブジェクト指向の起源 2003年チューリング賞の受賞者アラン・ケイさんはよくオブジェクト指向プログラミングの父と称されます。ご本人も憚ることなく、幾度、公の場で発明権を宣言しています。しかし、ケイさんは「C++」や「Java」などの現代のオブジェクト指向言語を蔑ろにしています。これらの言語は「Simula 67」という言語を受け継いだもので、私が作った「Smalltalk」と関係ないのだとケイさんは考えています。 オブジェクト指向という名称は確かにアラン・ケイさんに由来するものです。しかし、C++とJavaで使われている現代のオブジェクト指向は当初のと結構違います。ケイさん自身もこれらの言語を後継者として認めないです。では、ケイさん曰くC++とJavaの親であるSimula 67という言語はどんな言語でしょうか。ここで、簡単なサンプルコードを見てみましょう。 Cl

PyCon JP 2020 の「Python 3.9 時代の型安全な Python の極め方」の発表資料です

PyCon mini Shizuoka で発表する内容のスライドです。 PythonのGUIライブラリPySimpleGUIを使用してデスクトップアプリを作成する方法を紹介します https://shizuoka.pycon.jp/session/dario_okazaki/ code: …

京都大学学術情報リポジトリKURENAIでは、京都大学で日々創造される研究・教育成果をWebで公開しています。世界的に卓越した知的成果を社会へ還元することを目的として、2006年から図書館機構が運営している事業です。

工場を想定した事例をPythonで画像認識 今回は「工場の制御機器で使われているPLC(シーケンサ)」+「画像認識+測定」含めた事例を想定してPythonで制御してみます。 想定しているイメージとしては下記です。「PLC(シーケンサ)で工場内の機器を操作する」+「製品を画像認識で測定する」工程をまとめて管理したいと思います 但し、工場の制御機器におけるPLC(シーケンサ)に関しては「ラダー」という特殊なプログラミング言語で書かれていることが大半でPythonでは直接プログラムできません。 そのためPLC(シーケンサ)自身にはそのままのラダープログラムで動いてもらいます。ラダーの箇所(製造工程)が終わったらGPIO経由でPythonに通知して画像認識(測定工程)を行います Pythonへの通知方法はGPIOでなくても何でも構いません(筆者が使いやすかっただけです)。 Python側はPLCか

はじめに ハワイ、南米、南極など色々な箇所に設置された電波望遠鏡が協力し合う国際プロジェクト「イベント・ホライズン・テレスコープ」が、5500万光年彼方も向こうにある銀河の中心に位置する超大質量ブラックホールの撮影に成功したとの事。ブラックホールが直接撮影されたのは史上初の快挙との事で巷でも賑わっております。 さてこれだけ盛り上がると Twitter でも色々話題になっていて「ポンデリングに似ている」とか「ポンデリングじゃん」とか「ポンデリングにしか見えない」など色々と言われております。 それポンデリングじゃねぇの？ これはもしかしてブラックホールを見た事のない我々に対して、ポンデリングの画像を見せられ騙されているのではないかとさえ思い始めました。Twitter 上にも数多くのポンデリング画像が散見されています。そこで TensorFlow の力を借りて「画像がブラックホールなのかポンデリ

Chainer チュートリアル 数学の基礎、プログラミング言語 Python の基礎から、機械学習・ディープラーニングの理論の基礎とコーディングまでを幅広く解説 ※Chainerの開発はメンテナンスモードに入りました。詳しくはこちらをご覧ください。 何から学ぶべきか迷わない ディープラーニングを学ぶには、大学で学ぶレベルの数学や Python によるプログラミングの知識に加えて、 Chainer のようなディープラーニングフレームワークの使い方まで、幅広い知識が必要となります。 本チュートリアルは、初学者によくある「まず何を学べば良いか」が分からない、 という問題を解決するために設計されました。 初学者は「まず何を」そして「次に何を」と迷うことなく、必要な知識を順番に学習できます。 前提知識から解説 このチュートリアルは、Chainer などのディープラーニングフレームワークを使ったプログ

この記事は BeProud Advent Calender 2018 の20日目の記事です。そのためいつもよりボリュームたっぷり、文体も丁寧にお送りします。 adventar.org 本記事ではPoetryを使ってパッケージ開発→PyPIへ登録するまでの流れを紹介します。 github.com プロジェクト作成からPyPI登録までわずか30秒 Poetry について 基本的な使い方 Poetry と Pipenv Pipenvは確かに便利だけど Pipenv から Poetry に乗り換える Poetry と Pyenv PEP517 と PEP518 Poetryの各種設定 venvの作成先をプロジェクト内にしたい TestPyPIへアップロードできるようにする TestPyPIのユーザー名とパスワードを設定する ここまでの設定 プロジェクトを用意する 新規作成 標準的なレイアウト sr

こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins

年末年始の新幹線はすぐに予約で一杯になってしまう。最近はエクスプレス予約のWebサイトを使えばスマホやPCから即時予約できるようになったが、年末年始の「都合が変わって1週間前など新幹線を予約したい」みたいな状況では難しい。ぼくはエクスプレス予約の割引額が増えるJ-WESTカードを持っているのだけど、特にキャンセル待ちなどに優遇があるわけではないので、CYBER STATIONという空席確認Webサイトでじっといい時間の空席が現れるのを待つしかない。 というわけでPythonで解決しよう。 この記事は ふしみ Advent Calendar の10日目の記事です。 CYBER STATIONは (見た目的にも) パースがとても簡単そうなので、素直なスクレイピングが通用しそうだ。予約サイト (エクスプレス予約) は自動操作が難しそうだが、Pythonに空席状況を監視してもらって、空席が見つかっ

機械学習のエッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning) 作者: 加藤公一出版社/メーカー: SBクリエイティブ発売日: 2018/09/21メディア: 単行本この商品を含むブログを見る発売されてからだいぶ経ちますが、構想段階の頃より著者の「はむかず」さんこと加藤公一さんからお話を伺っていて注目していたこちらの一冊をようやく一通り読みましたので、サクッと書評めいた何かを書いてみようかと思います。 各章の概要 言うまでもなく実際の内容は皆様ご自身でお読みいただきたいのですが、これまでの書評記事同様に概要を簡単にまとめておきます。 第01章　学習を始める前に Python環境やAnacondaのインストールについての説明もなされているんですが、重要なのは後述する「本書は何を含まないか」という節。ここに本書の狙いの全てが書かれていると言って

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ※実際記事で紹介する書籍は12冊ですが、メンバーが借りてオフィスになかったため、上記画像内に3冊ないものがあります。 はじめに AI Academyを開発・運営しています、株式会社エーアイアカデミー代表の谷です。 6ヶ月ほど前に書いた下記記事は約1200のいいねと7万viewsを超える記事になりました。 【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 お読み頂いた方々、またいいねして頂いた方々ありがとうございました！ あれから6ヶ月ほど経ちまして、さらにPythonや機械学習の書籍が増えて参りましたので、

(編注：2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) Pythonは高い人気を誇り、DevOps、データサイエンス、Web開発、セキュリティの分野で使われています。 しかし、速度に関しては高い評価が全くありません。 JavaとC、C++、C#、Pythonの速度を比べるには、どうしたらいいのでしょう？　答えは、実行するアプリケーションのタイプに大きく左右されます。完璧なベンチマークはありませんが、[手始めに比べる手段](https://algs4.cs.princeton.edu/faq/)としてはThe Computer Language Benchmarks Gameが適しています。 私は10年ほどthe Computer Language Benchmarks Gameを参照していますが、Java、C#、Go、JavaScript、C++などの他言

ブロックチェーンの社会実装の勢いが止まらない。テック市場に特化したイギリスの調査会社Juniper Researchが、今年の夏に発行した調査レポートの結果によると、 大企業の６５％がブロックチェーンの導入を検討しているか、導入している最中 大企業の５０％程度がイーサリアム上で分散型アプリケーションを立ち上げを予定 大企業の２５％程度はProof of Conceptを終え、商品化を終えたか、その段階に差し掛かっている （大企業＝１万人以上） とのことだ。 え！導入比率、意外に高くない？国内でも例えば、つい昨日は日本経済新聞の朝刊にLINEがトークンエコノミー構想の詳細を明らかにしたことが話題になったりして、たまに見かけるけど、まさかここまで来ていたとは驚きだ。ここまで来てしまうと、そろそろ私のような一介のサラリーマンであっても、ブロックチェーンを理解しておかないといけない雰囲気が漂ってき

背景・目的 参考記事 Kaggleとは？ 扱われたお題 プロセス①: データの中身を確認する プロセス②: データの相関を調べる プロセス③: 欠損したデータを補完する プロセス④: モデリング前の事前処理 プロセス⑤: 解析とモデリング 最終的な結果 背景・目的 世の中の凄腕データサイエンティスト達はどのようにしてデータ分析をしているのか調べていたところ、Kaggleのコンペに参戦して上位に食い込んでいる人の技術記事を見つけました。最終的にモデルを作って予測をするところまでの過程が分かりやすくまとまっているので、とても参考になりました。 今回の記事は、上記の記事を読んで学んだデータ分析のプロセスについてのメモです。 参考記事 www.mirandora.com www.mirandora.com www.mirandora.com Kaggleとは？ 世界中で30万人以上のデータサイエン

NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste