とほほのＷＷＷ入門 拡張子一覧 List of file formats 拡張子ありのサイトは.html、.php以外のサイトは最近あまり見られなくなってきている。 拡張子別にどんなサイトがあるかはGoogleで inurl:index.jsp　みたいに検索すると色々見つかる。inurl:は大量に実行するとGoogleのCapcha画面が出て不正な通信と警告される場合があるので注意。 後述のhttp ヘッダー情報等からServerはnginxでcookieにJSESSIONがあるのに 拡張子が.aspというページもあるので、別システムに移行したけど、URLはそのままにしたため拡張子が食い違うケースもありそうだ。 RubyやPythonはMVCフレームワークが話題になり出してからWEBで採用され出したからか、拡張子つきは見かけたことがない。 http ヘッダー情報から調べる ブラウザのディベ

最近、TreasureDataと自社のDBのデータを合わせた集計をバッチ処理することが多くpythonでいったんcsvに書き出してEmbulkでアップロードしていましたが、データソースが増えると面倒になっていくのでより簡単で汎用化した書き方を考えました。 結局はWF使ってやったらいい話なので需要があるか不明ですが、WF勉強するのも時間がかかるので慣れてる言語でてっとり早くETLを作りたい人向けの内容です。 前提条件 この記事が適している人 普段はpythonを書いているのでなるべくその範囲でETLしたい pandas-tdの動きが不安定すぎて使えない シェルでの実現方法を調べる時間もない 達成したい機能 SQLさえ作ればバッチを追加できるETLの箱を作る 入出力のテーブルが変わっても手間がかからない 記述した順番に処理が実行され、進捗が通知される 環境の準備 Embulkのインストール す

はじめに 昨年末にAirflowをさわってみてなかなか便利だと思いました。 【Airflow】最近よく聞くAirflowに入門！EC2で動かしてみた【CI/CD】 そこで次のステップとしてKubernetesとの連携に挑戦してみました。検索してみると「Airflow on Kubernetes」と呼ばれているようです。調べたかぎり、日本語の記事があまりなかったのでこの記事が役にたてばいいなと思います。 =====2020.1.7 追記===== 関連記事をリンクします。 【Airflow on Kubernetes】DockerイメージのbuildとPodのdeployの仕組みについて 【Airflow on Kubernetes】KubernetesPodOperatorの使い方 Airflow on Kubernetesとは　？ タスクスケジューリングやGUIでの実行管理が可能なAir

AirflowにはExecutorというものがあって、 使用するExecutorによって処理の方法が並列になるのか直列にするかを選ぶことができます。 今回はCeleryを使用したExecutorを選択しています。 上記のコマンドだけで以下にアクセスすることができます。 Airflow管理画面: localhost:8080 Flower: localhost:5555 実装 まずは個別の処理を書きます。 例として1日分のホテル情報をDBから取得してきてCSVに保存する処理を書いています。 import pandas import datetime from jinja2 import Template def make_hotel_table(**kwargs): # データ取得するsqlの実行 #実行日時の取得 execution_date = kwargs.get('execution

公式の意訳に適当に加筆(減筆?)/修正したものです。(ちなみに著者の英語の偏差値は30台です。) 2019-12-28 追記 以下はHanamiのバージョンが1.1の頃のものです。 URLも404になってしまいました。 URLだけは最新のものに書き換えました(Thanks @topstone)が内容は古くなっている可能性があります。 インタラクタとは Hanamiにはコードを整理するためのオプションのツールを提供しています。それはインタラクタといい、サービスやユースケース、オペレーションなどとも呼ばれます。 以下、事例を通して使い方を見ていきます。 新しい要求: メール通知 (A New Feature: Email Notifications) こんな要求があったとします。 管理者は本が追加されたときにメール通知を受け取りたい。 アプリケーションには認証がないため、だれでも本を追加できま

はじめに ここ一年くらいずっと Rails の何がダメでどうすれば良くなるのかを考えていました。 Rails を使ってそれなりの規模のアプリケーションを作ったことがある人なら、メンテナンスのしづらさを感じたことがあるのではないでしょうか。 メンテナンスの問題は Rails 以外の開発でも発生することですが、実のところメンテナンスしやすいアプリケーションはどうすれば作れるのでしょうか？ この難問に対して私も答えを持っていませんが、考え続けています。 少なくとも、 Rails Way や Rails Tutorial をベースにしたアプリケーション開発は、業務で用いるには簡単すぎるように思います。 「レールに乗る」という言葉がありますが、私は考え方を変えました。 Rails は規模の大きいフレームワークですが、土台に過ぎません。 Rails Way の設計方針は小規模な開発では有効ですが、規模

Tokyo Rubyist Meetup で Hanami について発表してきた。このコミュニティは日本にいる外国人エンジニアや彼らと交流したい日本人の集まりなので、英語が公用語となっている。発表も英語でする。 trbmeetup.doorkeeper.jp 11/29 で「いいにく」の日だったから、ご飯が豪華だった。でも発表していたからそんなに食べられてない...。残念。 会場は cookpad のオフィスだったのでキッチンが充実していて、料理も美味しかった。ローストビーフが特によかった。 僕の発表: The Pragmatic Hanami 発表資料: speakerdeck.com 発表内容は以前 Rubyist Magagine に寄稿した るびま と同じく Hanami のアーキテクチャの説明などをしたあと、多少実際に開発をする時必要となるTipsを紹介した。 英語で発表するのが

こんにちは、スープです。 EdTechビジネスのプラットフォームチームでエンジニアをしています。 Clean ArchitectureでTodoアプリのFrontendを試作しました。 良ければ実装をみてください。 概要 Clean Architectureでは、UIやDB、FWといったアプリケーションの詳細を、ビジネスルールから切り離し、プラグインとして実装します。 これには、テスタビリティやコードのリーダビリティが高く保たれる等のメリットがあります。 とはいえ最大のメリットは、詳細の決定を遅延できることかもしれません。 詳細の決定を遅延できるということ 開発初期には、すべてのユースケースを把握できないため、重大な決定は遅延できるのが望ましいです。 開発が進むにつれて、適切な決定を下すための情報が数多く手に入るため、後回しにできるメリットは大きい。 また、数多くの実験をする余裕を獲得する

この記事は一休.comアドベントカレンダー2017の10日目です。 システム本部 CTO室 エンジニアの @yu-sa です。 今回はとある開発で、ドメイン駆動設計で,インターフェース指向を意識した環境での開発に携わった際の知見を記事にさせて頂きたいと思います。 自分は今まで、SmartUIな開発ばかりしてきたため、今回の開発では多くを勉強させていただきました。そんな経験談や調査内容をまとめて共有したいと思います。 参考記事 ドメイン駆動設計の道標 Python におけるドメイン駆動設計(戦術面)の勘どころ [DDD]ドメイン駆動設計で実装を始めるのに一番とっつきやすいアーキテクチャは何か ぼくのかんがえたさいきょうのうぇぶあぷりけーしょんふれーむわーく 最後のまとめをはじめに アーキテクチャと実装例を見て、ドメイン駆動設計のイメージを理解。 ユビキタス言語についての理解を深める。 ドメイ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

この記事では、アーキテクチャを採用する理由、次にClean Architectureの概要、最後にアプリケーションの構築をしていきます。 この後詳しく見ていきますが、Clean architectureの概念は比較的シンプルでわかりやすいものだと思います。しかし実際コードに落とし込んだ時、これってどう実装すればいいのかな？と迷うことがあったので、自分の理解も深めるために実際にAPI Serverを構築していきたいと思います。 また、サーバーサイドでの採用事例をあまりみないので誰かの参考になればいいかなと思います。 サンプルコードは、Go言語です。 アーキテクチャを採用する理由 アーキテクチャに期待することは、関心の分離です。 関心の分離を正しく行うことで、次のようなメリットがあると思います。 再利用性の高い設計になり生産性が向上する コードの可読性が上がり、メンテナンスが容易になる 変化に

xargs で複数行のコマンドを実行したい。 出来ない・・・ ls *.txt | xargs -I@ echo @ ; sleep 1 forループならできるんだけど、for ループだとどうしても不便。 xargs でシェルコマンドを作って渡す. xargs だと限界があるので、もうシェルの文字列にして渡すしか、他に選択肢がない。 ls *.txt | xargs -I@ sh -c 'echo @ ; sleep 1' これなら動くんです。動くんです。 xargs が１つ実行するたびに、 sh -c 'echo @ ' の@ の部分にファイルを文字列として入れて渡してくれる。 bash でもいい sh だと機能が少ないので、bashにしてやるという手段も取れる。 ls *.txt | xargs -I@ bash -c 'echo @ ; sleep 1' 条件分岐も もうここまできた

大量のファイルを扱う際に、サーバー負荷を減らすためにsleepでウェイトしながら移動させたい時なんかに。 find ./src/*.zip -print -exec sleep 0.5 \; | xargs -n1 -I%% mv -v %% ./dest/

Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

ファイルを複数のアンチウィルス製品でチェックするのに VirusTotalは便利だけれど、複数ファイルを手作業で検査するのはめんどくさい…… 出所が不明なファイルの安全性を確認するのに VirusTotal を使うのは普通の作業だと思いますし、また一般向けにリリースするバイナリを複数のアンチウィルス製品で事前にチェックする場合にも大変便利です。VirusTotal はオンラインのサービスにブラウザからアップロードするだけで60種類以上のウィルス対策ソフトで検査した結果が一覧で見れるのですから、これはとても便利です。 https://www.virustotal.com/ja/ VirusTotal自体は2012年にGoogleの傘下となりましたから、サービス自体は信頼してよいはずです。(ただし社外秘とか、関係者外秘のファイルをこういうところにアップロードしてはだめなことは言うまでもありませ

ウイルススキャンbotを作る なんとなく思いついたので作ります VirusTotalというサイトがAPI公開してるのでそれ使います。 ただ、1分に4回という制限があるのでサーバーによっては使いものにならないかもしれないです。 どんなの ファイルがアップロードされたらそのファイルのスキャンリクエストを投げる スキャンが終わったらそのファイルの結果をファイルが送られたチャンネルに送信する。 注意点として、VirusTotal Intelligenceを使うとスキャンしたファイルを閲覧することができるため他人に見られたら困るようなファイルは上げないでください。 あったら良さそうだけど現実的じゃないやつ ファイルがアップロードされたらその瞬間にメッセージを編集してスキャン中の旨を表示する。 URLもスキャンする なぜ現実的ではないかと言うとAPI制限があるから 1に関しては 1分間に5個以上のファ

While dependency injection is easy to do in Python due to its support for keyword arguments, the ease with which objects can be mocked and its dynamic nature, a framework for assisting in this process can remove a lot of boiler-plate from larger applications. That's where Injector can help. It automatically and transitively provides dependencies for you. As an added benefit, Injector encourages ni

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

前回の記事で紹介したのは、Google GuiceのDI機能のうちの一つ、Linked Bindingsだけでした。この記事はその続きです。 サンプルはScalaで書きましたが、例によってScalaっぽいコードが出てくるわけではないですね……Guiceをどう使えばScalaとよりよく連携できるようになるかは、まだよく分かっていません1。 さて、Guiceはもうちょっと色々な方法でDIができるので、それについても調べて紹介します。 以下では例示のために、前回も使用したServiceとその実装クラス2つを使います。 trait Service { def doSomething(): Unit } class FakeService extends Service { def doSomething() { println("FakeService") } } class RealServic

PythonでDIする 需要はなさそうですが、たまたまPythonでDIする方法を調べたので、、、 いくつかの選択肢 Injector (ドキュメントはこちら) Inject (日本語の記事がありました) siringa(ドキュメントはこちら) di-py Injectは２０１５年で開発が止まっているようです。 di-pyはあまりドキュメントが充実していないようです。 siringaは型ヒントをごにょごにょしてInjectするちょっと変態チックなやり方だったので避けました。 消去法でInjectorを試してみました。 Injectorの特徴 ドキュメントでも説明されてますが、Google Guiceライクなフレームワークになっています。 Google Guiceの説明はこの方の記事がわかりやすかったです。 Google Guice 使い方メモ InjectやModule、Providerな

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?