10 Tips for Building Resilient Payment SystemsThe top 10 tips and tricks for building resilient payment systems from a Staff Developer working on Shopify’s payment infrastructure. During the past five years I’ve worked on a lot of different parts of Shopify’s payment infrastructure and helped onboard dozens of developers in one way or another. Some people came from different programming languages,

問題へのリンク 問題概要座標 \((0,0)\) からスタートして \(N\) 回の移動で \((X,Y)\) に到達する確率を求めたい。 1回の移動では、上下左右それぞれの方向に確率 \(\frac{1}{4}\ ...

Pythonに型ヒントが入ってからしばらく経ちます。型ヒントの立ち位置も、なんでもできるアノテーションとして導入されましたが、型ヒント以外の用途はあまり育たず、型ヒントが中心になり、PEPや仕様もそれに合わせて変化したり、より書きやすいように機能が追加されてきました。 本エントリーでは、Python 3.9時点での最新情報を元に、現在サポート中のPythonバージョン（3.6以上）との互換性の情報も織り交ぜながら、最新の型ヒントの書き方を紹介します。 本エントリーの執筆には、Pythonの型の有識者の@moriyoshi、@aodag、@tk0miya にアドバイスをもらいました。ありがとうございます。 環境構築Visual Studio CodeVisual Studio Codeの場合は、事前にどのインタプリタを利用するかを設定しておきます。その環境にインストールします。venvを使う

概要Airflow 利用にあたって知っておいたほうが良いんじゃないかなと思う情報をまとめました。いわゆるハマりどころです。 Airflow 自体の基本的な説明(用語,DAG 定義方法,etc..) は省略しています。 基礎参照先 公式 Tutorial Dockerfile バージョン Airflow 1.10.4 Postgres 10.7 Tips 11 選 1. 日時 2. リトライ 3. start_date の変更ができない 4. 開始日時を過去日時にすると過去ジョブが自動実行される 5. context の活用 6. Macros 7. Task 間で値を受け渡す方法 8. dags ディレクトリ以下のディレクトリの切り方 9. UI の表示が UTC 固定 10. Web UI 上からジョブのパラメータを渡せない 11. DAG/Task の同時実行数制御 1. 日時Airf

先日、ビジネスパーソン向けの Python 本を執筆したことを書きました。 t2y.hatenablog.jp 本稿では本書のことを「できるPy」と呼びます。 Amazon でいくつかカスタマーレビューもいただいて次のコメントをみつけました。 python3.7 対応ということで、pathlib を使ってる点が（古いpython は切り捨てる！的なところは）潔いと言えば潔いし、日本語のファイル名にも気を配っている記述はオライリーに期待するのは酷なところもある。でもこの本でもNFD問題は全くの記述無し。だめだろ、それじゃ。 Amazon CAPTCHA まさに仰る通りです。執筆時にそのことに気づかずご指摘いただいてありがとうございます。 ここでご指摘されている NFD 問題というのは、ファイル名のみに限った問題ではなく、Unicode の文字集合を扱ってエンコード／デコードするときに発生する

grpc の DialOption のオプション設定方法が上手いなーと感心したのですが、初見で理解するのが難しかったので備忘録がてら解説してみます。 やりたいこと golang にはオーバーロード（同名メソッドでも引数によって呼び出されるメソッドが変わるやつ）がないので、任意のオプションを取るメソッドを作るのに工夫が必要です。 可変引数の仕組みはあるので任意数の値をメソッドに渡したり、オプション用の struct を引数に取ることで実装できなくはないのですがデメリットがあります（後述）。 DialOption がそのへんの葛藤を上手いこと解決していたのでご紹介。 ダメだった例 はじめに検討したのですがよろしく無かった例です。 可変引数でオプションを渡す オプション用の struct を渡す 可変引数でオプションを渡す golang では可変引数の仕組みがあるので、任意数のオプションを渡すこ

Cognitoって新規ユーザー登録画面やサインイン画面をプログラミングするイメージがあって、非プログラマーには敷居が高いんだよなぁ……。そんなあなたのために、このブログを書きました。Cognitoの敷居をちょっと下げるため、プログラミング無しでCognitoを試してみます。 Amazon Cognitoってユーザー認証をマネージドに管理してくれるサービスでさわってみたいけど、 新規ユーザー登録画面やサインイン画面をプログラミングするイメージがあって、非プログラマーには敷居が高いんだよなぁ……。 そんなあなたのために、このブログを書きました。 Cognitoの敷居をちょっと下げるため、プログラミング無しでCognitoを試してみます。 要するに、AWS CLIでCognitoを使う手順を紹介します。 Cognitoの機能自体は、弊社ブログで詳しく解説しているのでぜひこちらを御覧ください。 A

Python Advent Calendar 2017 の 18日目 の記事です。 画像のData Augmentationの手法をNumpy(とSciPy)で実装し、まとめてみました。 使うデータ Data Augmentation Horizontal Flip Vertical Flip Random Crop Scale Augmentation Random Rotation Cutout Random Erasing さいごに DeepLearningで画像分類など画像系の問題に取り組むとき、画像の枚数が精度に大きく影響を与えます。そこで、画像を数を増やすために、画像をちょっと傾けたり、反転させたりと画像を加工したりします。加工して数を増やすことを一般にData Augmentationと呼びます。 Data Augmentationは前処理で使うだけでなく、推論時にも使うこと

Rules of Machine Learning: Stay organized with collections Save and categorize content based on your preferences. Best Practices for ML Engineering Martin Zinkevich This document is intended to help those with a basic knowledge of machine learning get the benefit of Google's best practices in machine learning. It presents a style for machine learning, similar to the Google C++ Style Guide and othe

R&D部部長の 榊 です。今日は、当社におけるデータサイエンティストの定義と求められるべきスキルセットについて話したいと思います。 概要 下図のように当社における「データ分析を活用したSaasを開発する場合のデータサイエンティストの定義」を作りました。 既存の3つの定義から、良い部分を拝借しました。 各社ごとに、自社にあったデータサイエンティストを定義しておくのが重要ではないか？ はじめに 当社は、「データとAIで意思決定をサポートする」を事業ミッションとして掲げており、特に去年から人工知能技術 （※） に長じた人材、言い方を変えればデータサイエンティストの採用と育成に力を入れてきました。しかし、特に社内で「データサイエンティストとは何か」の定義などを作ることもなく、当社に必要な人材のスキルを列挙し、そちらを募集要項に書くことで満足していました。 そんな中で、某強面の役員から、ある日 「そ

半保存的複製 新しくDNAを合成する際は２本鎖が解け、それぞれ新しいDNAを合成するための鋳型となる。半分はオリジナルのDNAがベースになって複製されることを半保存的複製と呼ぶ。 メセルソンとスタールによる実験 半保存的複製を証明したのはメセルソンとスタールである。彼らは窒素（14N）の同位体15Nを用いて大腸菌のDNAを複製させた。なお、15Nは通常の14Nに比べて重いという特徴を持つ。 実験手順１ メセルセンとスタールは大腸菌を15Nの培地で育て、DNAに含まれる窒素を全て15Nとした。大腸菌をすり潰し、DNAを抽出して遠心分離にかけたところ、次のようなバンド（15NのみのＤＮＡ）が現れた。 実験手順2 大腸菌を14Nの培地に移して一度細胞分裂させた。培地内の大腸菌のDNAを抽出し、遠心分離すると15Nと14Nの中間の重さを持ったDNAのバンドが現れた。 実験手順3 14Nの培地で２度

検索ワードが未入力です。 検索ワードが未入力の場合は検索できません。検索したいワードをご入力いただき、「検索」ボタンをクリックしてください。

ミラティブ 赤川隼一氏が失敗から学んだのは「派手なPRに潜む弊害」「高い目標よりユーザーの熱量を重視する」など。「愛されるサービスづくり」のポイントを解説！ ミラティブ 赤川隼一が「愛されるサービスづくり」のポイントを解説！ 車のコミュニティアプリ『CARTUNE』、コスメのクチコミコミュニティアプリ『LIPS』、スマホ一台でゲームのストリーミング配信ができる『Mirrativ』の3社合同で実施されたトークイベントの内容をお届けします。 「僕が盛大に踏んできた地雷を共有したいと思います」 そういってミラティブ代表の赤川隼一さんは話し始めた。 「コミュニティサービスは反・直感的」（直感的・ロジック的には正しそうなことが往々にしてアンチパターンになる）と語る赤川さんが経験してきた数々の失敗。そこから逆説的に得た教訓を明かしてくれた。 ・教訓①「初期の派手なマーケティングやPRの弊害を理解する」

アライアンス事業開発部の大曽根(@dr_paradi)です。 ニュースパスというアプリの分析と開発を行っております。 今回は機械学習の評価関数のお話をします。 内容は、【FiNC×プレイド】Machine Learning Meetup #1 - connpassで発表したものになります。 発表資料 いまさら聞けない機械学習の評価指標 from 圭輔 大曽根 www.slideshare.net 機械学習における評価 現在は機械学習ライブラリが充実しており、また、Webサービスの普及により学習に必要なデータの獲得も以前と比較して容易になっています。 そのため、機械学習のビジネス利用への敷居が下がっています。 予測や分類といった問題を解く際には、設定した課題に対してどのモデルが最も適しているかを評価するための指標(評価関数)が必要になります。 Kaggle*1などのコンペティションではあらか

Kaizen PlatformでSRE Group Managerをしている前田 (@glidenote)です。4月ということで転職や部署異動など新しい環境で働いている人が多そうなので、今回はKaizen PlatformのEngineering GroupとSRE Groupが行っているOnboardingプロセスを紹介したいと思います。 TL;DR Kaizen Platformに入社してくれた人に最速でPerformanceを出してもらうためにOnboardingプロセスを策定し、運用、日々改善している 入社してくれた人が自身のOnboarding Planを自分で作成し、CTO、メンターとで定期的に期待値の調整、振り返りを実施し、齟齬が発生しないようにする ランチスケジュールを組み毎日別々の人と、別々の場所にランチに行き、一緒に働く人たちとオフィス周辺の情報を知ってもらう 入社した

このシンプルなソリューションを使えば、GCP 上に BI ダッシュボードを簡単に作れます。 ビジネス インテリジェンス（BI）が登場したときから、可視化ツールは、データからすばやく知見を獲得したいアナリストや意思決定権者のために重要な役割を果たしてきました。 ビッグデータ アナリティクスの時代になった今も、その前提は変わりません。Google Cloud Platform（GCP）は、ビッグデータの上に BI ダッシュボードを構築するための統合プラットフォームとして、ペタバイト規模のデータを高速に分析できるクラウド ネイティブなデータ ウェアハウス Google BigQuery と、美しいレポートをすばやく作れる無料の Google Data Studio を提供しています（Google のパートナー企業である Looker や Tableau、Zoomdata なども BigQuery