はじめに 今携わっているプロジェクトで凄腕エンジニアさんと一緒に開発をさせていただいているのですが、その凄腕エンジニアさんから教えていただいた例外の話がとても勉強になり、 さらにこの例外の話を他のプロジェクトのエンジニアさんに伝えたところ、反応が良く、とても勉強になりました！という声をいただけたので、アウトプットしていきたいと思います。 （この記事の中で凄腕エンジニアさんのことはTさんと呼ぶことにします。） ※【凄腕エンジニアさんから学んだ例外の話】の補足 というQiita記事を書きました。 この記事を読み終わった後に疑問が残った人などは補足資料として読んでいただけると嬉しいです。 例外の考え方の源 Tさんの例外の考え方は http://diveintopython3-ja.rdy.jp/your-first-python-program.html#exceptions ↑こちらのPyth

PHPの次期バージョンはこの時期どうなっているのか - Internalsの開発体制について - PHPカンファレンス小田原

Haskellを使うたびに例外について調べ直す癖がついているので、諸々をまとめておく。 TL;DR 部分関数を使うな。 失敗可能性はMaybe？Either？IO？ -> 迷ったらMonadThrowを使え。 予めエラー型を統一しないと例外処理クソだるいんだけど -> SomeExceptionを使え。 ライブラリどれ使えばいいの？ -> safe-exceptionsを使え。 部分関数を使うな 死の化身。部分関数自体を避けるしか方法はない。用意された部分関数を使う場合は必ずラップすること。 パターンマッチの失敗やundefined, error等のピュアな文脈での例外は、IOモナドの中でのみキャッチすることができる。しかし、ピュアな文脈で解決できる問題を神モナドで解決するのはあまり嬉しくない。ピュアなものはピュアなものに、神のものは神に返すべきである。 もし失敗をどの型で表すのか迷ったら

みなさんTypeScriptでサーバアプリケーション（Node.js）のロジックを書く時に、異常系の表現をどのようにされていますでしょうか？ここでいう異常系とは、仕様上想定される異常のことです。準正常系と言ったりもするかと思います。 私はJavaScriptの延長でTypeScriptをはじめたので、最初は null や undefined を返したり throw を用いるやり方をしていましたが、次第にTypeScriptが持つ型を生かし、できるだけ型安全に異常系を表現したいと考えるようになりました。そして試行錯誤した結果、いい感じの落とし所に落ち着いたので、その内容についてお伝えしたいと思います。 また記事の後半では、異常系の型を実装する中でハマった点についてもお伝えしたいと思います。 TypeScriptの異常系表現について 1. nullやundefinedを返す 冒頭でも述べたよう

Python + pytestにて、「pytest.raisesを使って例外をアサーションする」テストコードを作成する機会がありました。 ただ、書き方を誤りうまくアサーションできなかっため、メモを残します。 目次 環境 状況 原因 対応 ソースコード 環境 Python 3.6.0 unittest.mock.patchを使用 pytest 3.0.7 状況 テスト対象のメソッドtarget_method()は、以下とします。 pytest_raises.py from with_statement_library import Validator class Target(object): def target_method(self): """テスト対象のメソッド""" validator = Validator() validator.run() テスト対象クラスでimportしてい

ブログスモールスタート第3段。 やや前置き長め。 --目次-- Twitterでの情報収集 あとで読む（Pocket） あくぽろ流情報収集術 憎いt.co Googleスプレッドシート上で短縮URLを展開する[Google Apps Script] 今後の展望 Twitterでの情報収集 情報収集ツールとしてのTwitterはなんだかんだ優秀だと思っていて、 ニュースメディアのアカウントをフォローしておけば気になる記事を割とタイムリーに見ることができるし、 そうでなくても思いも寄らない情報をたまたまTL（タイムライン）で見つけた！みたいなこともまあまあよくある。 ※この辺は個人のフォローの仕方にもよるだろうけど… ただ、その場で読むまでもないかな、とか後でじっくり読もう、みたいな情報も結構ある。 そんなときに使われるのが公式ならいいね（かつてのFav）機能だし、 非公式クライアントなら「あ

この記事は Livesense not engineers Advent Calendar 2018 の15日目の記事です。 はじめに 初めまして。リブセンスで管理部門に所属しているyuya_sといいます。 普段はGoogle SpreadsheetやExcelで数字をいじったり資料を作ったりしていることが多く、プログラムに触れる機会はほぼありません。 今日は、そんな私が図らずもコードを書くことになった話です。 突然ですが、皆さんはどんな趣味をお持ちでしょうか？ 私は音楽が好きです。ライブやフェスにも行きますし、普段の生活でも音楽は欠かせません。 そして、音楽好きの方であれば何らかのストリーミングサービスを利用されている方も多いのではないでしょうか。私はSpotify派です。プレミアム会員になってから1年経ち、Spotifyのない生活は考えられなくなりました。 Spotifyはリコメンドも

インターネットでよく解説されているシンプルなコードは上のようなものだと思いますが、このコードをプロダクションで使用すると、対象のサーバーが応答しない場合フリーズしてしまう可能性があります。timeoutが設定されていない、つまり、最大で何秒待機すればよいか指定されていないからです。Webサービスの場合、待機中はユーザーに応答できなくなるので、本当は別の依存しているサーバーに責任があるのに、ユーザーにはあなたのWebサービスに問題があるように見えてしまうかもしれません。 Timeout を設定する必要性 ですから、timeout を設定しましょう。数秒待って応答が来なかったらエラーとして処理すればよいのです。 requests公式のドキュメントでもtimeoutを設定することが推奨されています。 Most requests to external servers should have a

PySpa統合思念体です。あと、 @yosuke_furukawa にも協力いただきました。 基本的に、あまりエラーの種別を細かく判定してあげることはJavaScriptでは今までやってこなかったのですが、ちょっとしたメタデータを乗っけてあげるとか（例えばリトライ回数）、何か凝ったことをしたくなったらこういう方針でやればいいのでは、という試行錯誤録です。 エラーと例外の区別が必要か この手の話になると、エラーと例外の違いとか、こっちはハンドリングするもの、こっちはOSにそのまま流すものとかいろんな議論が出てきます。このエントリーではエラーも例外も差をつけずに、全部例外とひっくるめて説明します。 例外というのはすべて、何かしらのリカバリーを考える必要があります。 ちょっとしたネットワークのエラーなので、3回ぐらいはリトライしてみる 原因: ネットワークエラー リカバリー: リトライ サーバー

こんにちは、@yoheiMuneです。 久しぶりのブログ、書きたいことがいっぱいです。プログラムでエラーが発生した時に重宝されるスタックトレース。Python言語におけるエラーハンドリングの方法と、そこでのスタックトレースの取得方法を、今日はブログに書きたいと思います。 目次 スタックトレースとは スタックトレースは、プログラムで例外が発生した際に、どのように関数が呼び出されたのか、どこでエラーが発生したのか、を特定できる情報です。不具合発生時の原因究明に、重宝されます。例えば以下のプログラムがあるとします。 def a(): """b関数を呼び出す""" b() def b(): """c関数を呼び出す""" c() def c(): """例外が発生する""" char = None char.format('hello') # ここで例外発生 # a関数から呼び出してみる a() こ

※2019/8/12 書籍のリンクを最新版に更新 PyCon JP 2017で発表した野球×Pythonの分析ネタの詳細解説です.*1 プレゼンテーション：野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築 | PyCon JP 2017 in TOKYO speakerdeck.com youtu.be 時間および諸々の都合（察し）で公開できなかった*2, 「人とWebに優しい」Scrapyアプリのサンプル（なお野球） を作って公開したのでその紹介と,PyConのプレゼンで発表しきれなかった部分を簡単に紹介します. おしながき おしながき 対象の読者 参考文献 Scrapyを用いた日本プロ野球データ取得Exampleアプリ ポイント 全体像 「人とWebに優しい」settings.pyの書き方 Spider（クローラー本体）について〜Itemも添えて Spider.

AWS Rekognition を使う時にクローラーも使ってなんかできないかなと思い scrapy を利用してみました。とりあえず今回はドメインと画像収集のところまで。いかがわしいことには絶対利用しないでください 今回はスタートのページからどんどんリンクを辿り、ドメイン名のフォルダごとに、辿った時のページの画像を保存します。今度そのフォルダごとに画像を AWS Rekognition に投げて、そのドメインがどんなドメインなのかを画像から判別しようと考えています。 前提 scrapy 1.5.0 python3 scrapy インストール済み 参考サイト scrapy を用いてデータを収集し、mongoDB に投入する - Qiita ScrapyでWebサイトのタイトルとURLを再帰的に取得する - Qiita Spider のコード クローラーの肝となる部分です。参考サイトではCraw

突然ですが Scrapy v1.1.0 から Python 3 に対応して嬉しいですね。これまで Scrapy のために 2.7 で通してきたんで。 さて、今回は Scrapy における エラーハンドリング(例外処理) についてまとめようと思います。 スクレイピングという行為は外部の構造化されていないデータを取ってくるものなので例外はつきものです。 例外が投げられたとき 何となく正常終了したように見せる ことは厳禁です。例外から正しく復帰させるか、または例外が投げられたならば正しく落とすことが重要です。 でないと、その後に例外に気づいて調節→リトライできませんからね。 Scrapy データフローに沿ったエラーハンドリング スクレイピング中に起こる不測の例外をキャッチするために通常の try ... except 文を使う事はできません。 なぜなら、我々が記述した Spider を実際に起動

なんか気がつけば2017年8月から始めたBlogも1万アクセスを突破してました。めでたい。 さて、最近はDjangoよりもScrapyに触ってる事が多いです。結構日本語の情報も増えてきましたが、Django等に比べるとまだまだ利用者が少ないのか情報が少ない部分もあります。 このBlogではScrapyにはじめて触れますが、いきなりテストについてメモ代わりにまとめておきます。ScrapyではSpiderというコンポーネントをクロール対象ごとに作成します。このSpiderのテストをどうするかについてです。 サンプルの構成 今回のプロジェクトは以下のような構成です。といってもscrapy startprojectしてdenzowblogというspiderを一つ追加しただけの状態です。 . ├── scrapy.cfg └── testscrapy ├── __init__.py ├── item

🍣 RSpecでスタブの作成allowメソッドでスタブ(テストの際、そのモジュールの代わりに用いる代用品)を構築できます。 RSpec.describe "Specifying a return value" do it "returns the specified return value" do dbl = double allow(dbl).to receive(:foo).and_return(14) expect(dbl.foo).to eq(14) end end RSpec.describe "allow_any_instance_of" do it "returns the specified value on any instance of the class" do allow_any_instance_of(Object).to receive(:foo).and_

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?