WBC2023侍JAPAN優勝で興奮している皆さんこんにちは*1. 野球知識と野球愛, エンジニアとしての技術力そして私の週末となけなしのお小遣いを犠牲にして野球ネタをお届けするブログ「Lean Baseball」のお時間がやってまいりました*2. 皆さんに伺いたい. 今年1月にこのブログで「ラーズ・ヌートバー」改め「たっちゃん」の特集記事を公開したことを覚えているだろうか? shinyorke.hatenablog.com きっと覚えている人は少ないであろう. この記事, 書いた私の自己評価および, このブログを愛読してくださっている一部のデータ好き・野球好き（&デブサミの発表を見て検索した?同僚に偶然ブログを発見された）からの評判は大変良かった*3ものの...大して読まれなかった. 理由は明確でGoogle先生曰く... 今日（2023/3/25）から過去90日間の「ヌートバー」トレン

機械学習エンジニアをやってた時の実話とキャリアパスについての考察

皆様こんにちは！JX通信社で機械学習エンジニアを担っているファンヨンテです。 弊社提供のビックデータ リスク情報サービスFASTALERTでは、Deep Learningを使ってSNSの投稿をリアルタイムに解析し、火事や事故などのリスク情報の検知を行っています。 SNSの投稿には、文字だけでなく、画像、動画などの情報も含まれているため、SNS解析にはよくマルチモーダルなAIモデルが用いられます。今回は「SNS の投稿からのリスク情報の判定」というタスクをテーマに、マルチモーダルなAIモデルの判定根拠の可視化や、精度を上げるための工夫などをご紹介します。 FASTALERT（ファストアラート）について 「FASTALERT」は、SNSをはじめとする各種ビッグデータから、AIがリスク情報を検知・配信するビックデータ リスク情報サービスです。報道に必要不可欠なツールとしてNHKと全ての民放キー局

2021年も数多くのプログラミングやPythonを扱った素晴らしい書籍とたくさん出会いました. 私はリアルの本屋さんに行くのがとても好きで（ECの本屋さんも好きですが）, 技術書のコーナーには必ずと言っていいほど足を運ぶのですが, 年々「Python」というラベルが付いた棚の領域が広がっている気がします. プログラミング初心者でPythonからやりたいけど何から読めばいいのか🤔 実務に役立つような参考書籍ってどうやってみつければいいかわからない😇 よりビジネスに役立つ, 実践的な事例をしりたい💪🏻 という, 割とありそうなニーズにお応えすべく, 2022年いや, 今この瞬間に読んでおきたい・抑えておきたいPython関連書籍をまとめました！ 2011年頃からPythonを使って仕事をし始め, 今もエンジニアリングからコンサルティング, マネジメントをやっている私独自の視点で, オス

背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision） しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。 推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しい プロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない） 例えばJX通信社

このエントリーのテーマです このエントリーは, 「仕事ではじめる機械学習 第2版」出版お祝いのエントリーとなります. 仕事ではじめる機械学習 第2版 作者:有賀 康顕,中山 心太,西林 孝オライリージャパンAmazon 私自身, 第1版登場の2018年頃*1から「機械学習エンジニア」「企画・提案のフェーズから機械学習プロジェクトを回すマン」など, まさに機械学習を仕事とするロール・立ち位置で働いたり個人開発をしたりしていた身として, 色んな場面で参考にしていた書籍の待望の第2版登場で嬉しいです. 待ちに待った仕事ではじめる機械学習第2版、戴きました🙏 週末読んで感想書くぞ📕 pic.twitter.com/66mcTzxja5— Shinichi Nakagawa / 中川 伸一 / Senior Engineer (@shinyorke) 2021年4月15日 縁あって著者の皆様およ

新年あけましておめでとうございます🎍 年末年始は色々と手を動かしつつ*1, 積ん読を消化していたのですが, 昨年最後の読書🍺 特にこの本にオッってなりまして読み終わる寸前には, これもうすぐ読み終わるのですが、なぜ積ん読にしてたワイは🤔 ってぐらい名著でした📖 https://t.co/RgTILDGc7r— Shinichi Nakagawa (@shinyorke) 2021年1月3日 ...という感想が出る程度にこちらの書籍に興奮しました. データ分析人材になる。　目指すは「ビジネストランスレーター」 作者:木田 浩理,伊藤 豪,高階 勇人,山田 紘史発売日: 2020/10/15メディア: Kindle版 データを使って仕事をする人は（データサイエンティストに限らず）サラッと読んだほうがええやぞ！ というぐらい良い本だったという話を2021年最初のブログとして書きたいと思い

誰のことかは本文に答えが！ かなり久しぶりに日本プロ野球のネタやってみました⚾️ 今年の野球も残すところは日本シリーズと（一番大好きな）ストーブリーグになりました. その日本シリーズですが, news.yahoo.co.jp 訓練された日ハム（パ・リーグ）ファンの私は別に驚かない*1（震え）のですが巷では, ・「33-4の再来なのでは*2」 ・「パ・リーグのパはパーフェクト・リーグの略*3なのでは」 という声が聞こえているみたいです, Twitterトレンドに33-4は流石に草生えた...w 流石に4連勝で終わっちゃうと野球全体的に面白くない展開になっちゃうので巨人の反撃に期待するとして（意訳：日本シリーズの話題はこれでおしまい）. 私個人として興味ある野球の話No.1は, 3年以上の長期契約を結んでいるチームの主砲は契約に見合った活躍をするのか? だったりします. 坂本勇人選手（巨人）,

要約すると, データサイエンス・機械学習周りでよく聞かれること&回答を言語化しました. 「データサイエンティストやりたい」「機械学習エンジニアになりたい」というキャリア志望を持つ方は多いと思います. 私の周りでも, 公私ともにそんな志望者の相談を聞いたり, （主にインターンの学生さんですが）一緒に仕事をしたりする機会もメッチャ多いです. 「ビジネスサイド強いマン」「サーバーサイドエンジニア」という視点からデータエンジニア兼データサイエンティストな自分が, そんな彼ら彼女らにオススメしている, データサイエンティストを目指すためのスキルマップ 各領域のスキルアップを実現するためにオススメしたい書籍 を紹介したいと思います. なお, 昨年も同様のエントリーを書いておりそのUpgrade版となります. shinyorke.hatenablog.com このエントリーの対象読者 データサイエンスに

本日のPyCon JP 2020にてお話しました以下の発表に関する補足・解説ブログとなります. スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 - PythonとRを行ったり来たり このエントリーではスライドのスクショとともに, 参考資料 細かすぎて本編で話さなかったハナシ もし真似してやるならこれぐらいは読んでおいたほうがいいよ 的な話を中心に, 過去記事のreference等を掲載しています. スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 これを読むと⚾️で特徴量エンジニアリングと機械学習がいい感じにできるかと思います👍 スタメン スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 スタメン CM JX通信社 Pythonもくもく自習室 #jisyupy 特徴量エンジニアリングについて 野球データの特徴量 Python, R, SQ

PyCon JP 2020 8/28 「スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 - PythonとRを行ったり来たり」登壇資料 https://pycon.jp/2020/timetable/?id=203110 #Baseball #SABRmetrics #Py…

やったことは非常にシンプルでして. 大谷翔平選手の26〜29歳（2020〜2024年）までの打撃成績を, 一般的な打撃成績データ（安打, 本塁打, 三振etc...）を使った機械学習でそれっぽく出してみました 大谷翔平さんはやっぱ凄い（詳細はこの後で） まだまだ改良点や穴があるものの, 統計的にもアルゴリズム的にも十分に納得行くモノができたので一旦公開します. なお, どういったアプローチでやったか?特徴量はどうやって選んだか??については8/28, 29開催のPyCon JP 2020で発表します.*1 免責事項 言うてもおもちゃですしちょっとしたお遊びです. そのつもりでご覧ください. 一部のサンプルコードを除きコードおよび特徴量は公開しません. データはMLBのPublicな公開データセットであるLahman’s Baseball Databaseおよび, RETROSHEETを使っ

JX通信社シニア・エンジニア兼データ基盤担当大臣の@shinyorke（しんよーく）です. 最近やった「ちょっとした贅沢」は「休日, 自宅で🍺片手に野球を見ながらUberEatsで注文したランチを楽しむ」です. ⚾と飲食を提供してくださる皆さまに心から感謝しております🙏 JX通信社では, 機械学習を用いたプロダクト開発・施策 プロダクト・サービスの改善に関する分析 日々のイベントをメトリクス化して可視化（いわゆるBI的なもの） を円滑かつ効率よく行うため, 昨年からデータ基盤を整備・運用しており, 現在では社員のみならず（スーパー優秀な）インターンの皆さまと一緒に活用し, 成果を出し始めています. ainow.ai なぜデータ基盤が必要か?どういった事をしているのか?...は上記のインタビューに譲るとして, このエントリーでは「データ基盤を支える技術 - ETL編」と称しまして, Py

機械学習チームの林田(@chie8842)です。好きなスポーツはテニスとスノボです。 システムは、その当時の最新の技術で作ったとしても必ずレガシー化します。 機械学習システムも他システムと同様、一度デプロイしたら終わりではなく、継続的なメンテナンスが必要です。昨今機械学習は、特に技術の進歩が目覚ましいため、レガシー化するのも早い分野といえます。本稿ではレガシー化した機械学習アプリケーションのメンテナンスと、それに伴うGPU環境からCPU環境への移行によって、大幅にシステムの運用コストを削減した例をご紹介します。 機械学習アプリケーションにおけるコスト課題 クックパッドにおける最初の大きな機械学習プロジェクトである料理きろくがリリースされたのは、2年前のことです。それ以来、様々な機械学習アプリケーションがデプロイされ、現在では大小含めて30を超える機械学習アプリケーションが運用されています。

2018年6月12日にビープラウドのメンバーで執筆した「Pythonプロフェッショナルプログラミング 第3版」が出版されます。 Pythonプロフェッショナルプログラミング第3版 作者:株式会社ビープラウド出版社/メーカー: 秀和システム発売日: 2018/06/13メディア: Kindle版 第1版が2012年3月26日、第2版が2015年2月27日、第3版が2018年6月12日の発売で、約3年おきに版を重ねてきました。 最新技術に合わせてバージョンアップ IT技術は日々バージョンアップされ、数年もすれば技術の構成やベストプラクティスも変わってきます。 技術の進歩に合わせて、書籍も第3版としてバージョンアップしました。 主な改訂内容は以下のとおりです。 Python2.7.6→Python3.6.4 Ubuntu14.04 LTS→Ubuntu16.04 LTS Webアプリケーション(

この記事は Retty Advent Calendar 2017 25日目です. 昨日は @shinyorke さんの 予約導線をささえるPython製バックエンドをLuigi+pandas+Scrapyで作ったハナシ でした. みなさん、こんにちは。Retty CTO の樽石です。 昨年は、深層学習が大きく広がり始めた年ということもあり、当社で独自開発した「機械学習基盤」のアーキテクチャについて紹介させていただきました。ご好評いただき誠にありがとうございました。 今年は、深層学習の普及を背景に、 AI というキーワードが社会にも浸透。活用事例も増えていることから、AI によって「今」なにが出来、どう便利になるかを具体的に示すことが、AIを活用するサービス事業者に求められる１年だったと思います。 そこで、今年のカレンダーは、先進性や芸術性、未来感といったセンセーショナルな内容からはいったん