はてなブックマーク

ルールエンジンをPythonで使えると仕事上便利なことがありそうなので調査してみたところ、 business-rules が目的にあっているように思えたので、READMEを読みつつ試してみた。 使ったモジュール Venmoが開発した business-rules を使うことにした。VenmoのことはRebuildで聞いたことがあるぐらいで使ったことはない。 github.com Pythonで書かれたルールエンジンを探していた Venmoの中でも使われているのかも。と考えて使ってみたくなった READMEのサンプルコードが分かりやすかった というのが選定理由。 コミットログを見るとしばらく活動がなさそうだけど、こういうのは一度書いて(安定して)動いてたら、よほどのことがなければ書き換えるものでもないかなと思って気にしないことにした。 サンプルコード 一度ルールエンジンを使って処理を書いたこ

この記事は Redash Advent Calendar 2018 1日目の記事です。 adventar.org Redash Meetup を主催しているなかで、参加者アンケートを取っているのですが「これから Redash の導入を検討している」というかたが毎回2-3割程度いらっしゃるので、今日現在 Redash をはじめるにはどのようなステップを踏むとよいのか。というのを、主に環境構築の視点でまとめてみます。 まずは手軽なデモサイトに触れてみる Redash には公式に提供されているデモサイトがあります。 Login to Redash 利用できるデータは BigQuery の Public datasets などがあるので、データを準備する必要もなく試してみることができるので、気軽に Redash の機能を確認したり、手触りを確かめたりすることができます。 注意点としては、デモサイト

タイトルのとおりですが、7/9に Redash Meetup 3.0.0 を開催しました。 redash-meetup.connpass.com 今回は LT 枠を削って10分の登壇枠を2つ用意し、約1時間半で4本の登壇をみっちり詰め込んだイベントになりました。 発表内容振り返り Redash の API 活用事例 / 株式会社ココラブル 井上さん speakerdeck.com Redash API 活用事例について、具体例を交えて発表されていました。 API を使用するシーンとして各社で利用されているであろう、Slack 通知や Google スプレッドシートへの自動書き出しだけでなく、API と Git を組み合わせたクエリのバージョン管理についても発表されていました。 発表の中でいくつかライブラリやツールを紹介していましたが、そのうちのいくつかは私が GitHub で公開しているも

Redash を介してお世話になることはあれど、単体で使ったことがなかったので改めて Celery を試してみる。 Homepage | Celery: Distributed Task Queue Python のバージョンは 3.6.5。Celery のバージョンは 4.1.1 を使用した。 Celery とは Celery: Distributed Task Queue 分散タスクキュー。とのこと。 Celery で使えるメッセージブローカ Brokers — Celery 4.1.0 documentation RabbitMQ, Redis, Amazon SQS あたりが使えるとのこと。今回は Redash の理解を深めることも目的のひとつなので、Redis を使うことにする。 結果を取得するための Result Backend First Steps with Celery

はじめに Redash は公式ドキュメントでは、開発環境には Docker を使うことを推奨されています。 Guide · Redash Help Center 以前は Redash のリポジトリに Vagrantfile も含まれていましたが、今ではDocker移行を推奨するためか削除されています。 Docker を使うようになったことで、環境構築がかなり気軽にできるようになりました。 Redash Meetup ハンズオンで使用している以下の資料も、Docker を使った環境構築手順になっています。 github.com しかし、Redash のコードを追っていったり、ミドルウェア周りの調査で DB や稼働プロセスを覗き見したりするときは、Vagrant で VM を1台起動して、その中にRedash も PostgreSQL も Redis も入っている方が便利なことがあります。 こ

IaaSが一般化してからメモリで悩むことは減りましたが、それでも無駄は減らしたいものです。 この記事ではRedashのメモリ使用量の節約について紹介します。 前提条件 以下の環境で検証しました。 macOS Sierra 10.12.6 Docker CE 17.09.1-ce-mac42 Redash v3.0.0 ctop コンテナのメモリ使用量確認にはctopを使用します。 github.com 検証準備 $ git clone [email protected]:getredash/redash.git $ git checkout refs/tags/v3.0.0 $ docker-compose -f docker-compose.production.yml run --rm server create_db $ docker-compose -f docker-compose.p

Redashのコードを追うときに知っておくとよさそうなモジュールを個人的にメモ。 コミットIDは以下のもので調べたので。バージョン違いなどで差異があると思う。 github.com 依存関係を調べる requirements.txt を読んでいってもいいけど、 pipdeptree が便利そうだったので使った。 github.com $ pipdeptree celery==3.1.23 - billiard [required: >=3.3.0.23,<3.4, installed: 3.3.0.23] - kombu [required: <3.1,>=3.0.34, installed: 3.0.37] - amqp [required: >=1.4.9,<2.0, installed: 1.4.9] - anyjson [required: >=0.3.3, installed:

「Re:dash on Raspbery Pi」という投稿を見かけたので、ちょっとしたお遊びでやってみた。 discuss.redash.io 使用したデバイス ちょっと古いけど検証にはRaspberry Pi 2 Model Bを使用。Raspberry Pi 3でも動くと思う。 Raspberry Pi 2 Model B　（2015年2月発売品） 出版社/メーカー: きばん本舗メディア: エレクトロニクスこの商品を含むブログを見る OSはRaspbian stretch Lite(November 2017)を使いました。 www.raspberrypi.org インストール セットアップスクリプト Raspbianも名前からしてDebian系なので、RedashのUbuntu向けセットアップスクリプトにすこし改変を加えて使う。 github.com @@ -41,7 +41,7 @

今日はRedash Advent Calendar 16日目ですが、この記事はAdvent Calendarの記事ではありません。 qiita.com 12/16の記事はvankobeさんによる、Redashの結果をGoogleスプレッドシートで扱う事例の記事です。 qiita.com Redashの便利さと、その裏にあるつらみ Redashを活用しはじめて1年半ほど経ちますが、今ではRedashなしで業務が回らなくなるほどに使い倒しています。 しかし、Redashの活用が進んだことによって「Redashが落ちたら全てが止まる」といった状況になりつつあることも事実で、たまにRedashの収容サーバーからアラートが飛んでくると、背筋が凍る思いをしています。 それだけでなく、Redashの利点でもある「誰でもクエリを実行・編集できる」というのが、運用上問題になることも何度か経験してきました。

PHPでExcel PHPでExcelを操作する。というと「やめておけ」という言葉の次に上がってくる有名なライブラリは、PHPExcelではないかと思います。 github.com 溜まりに溜まったIssuesとPull Requestsの数を見ると不安な気持ちになってしまいますが、後継のライブラリーが開発中のようです。 github.com PHPExcel vs PhpSpreadsheet ? に書いてある通り、PHPExcelと互換性のない変更が含まれるため別プロジェクトになっているようで、開発もPhpSpreadsheetに注力しており、PHPExcelはもうメンテナンスされていないということについても明言されています。 サンプルコード まだ安定版がリリースされていませんが、PhpSpreadsheetを使った簡単なサンプルコードを書いてみました。 動作環境 Homebrewでイ

この記事はRedash Advent Calendar 2017 8日目の記事です。 qiita.com 独自のQuery Runnerを作る いきなり元ネタを出しますが、Redashの開発者Arikさんによる、以下の投稿を見るとだいたい作り方の雰囲気がわかってきます。 discuss.redash.io 上記の記事を参考に、クエリの代わりに文字列を貼り付けると、その文字列をCSVのようにパースして結果を返すような、ちょっと変わったQuery Runnerを作成します。 開発環境 細かい開発環境構築方法の説明は割愛しますので、ご了承ください。 以下の公式ドキュメントに開発環境の構築手順が記載されているため、この手順に沿って、Docker上の開発環境が整っていることを前提に進めます。 Docker Based Developer Installation Guide · Redash Hel

この記事は Redash Advent Calendar 2017 5日目の記事です。 qiita.com 昨日はhideji2さんの 「RedashのPythonDataSourceを使ってデータのヘルスチェックをしてみた話」でした。 qiita.com Scriptデータソースとは RedashにはScriptデータソースという、任意のスクリプトをデータソースとして使える機能が含まれています。 この記事では、Scriptデータソースを使って自由にデータソースを定義する方法を紹介します。 Dockerで環境構築 Dockerを使用して環境構築をします。 以下のYAMLを docker-compose.yml として保存してください。 version: '2' services: server: image: redash/redash:latest command: server dep

この記事は Redash Advent Calendar 2017 1日目の記事です。 qiita.com Query Resultsデータソースとは v3.0.0 で追加されるデータソースで、文字通り「クエリの実行結果」をデータソースとして扱うことができるものです。 有料版ではすでに存在していたものがv.3.0.0でOSSになったようで、有料版での使用例は、過去にGunosyさんの記事でも紹介されています。 data.gunosy.io この記事では、Query Resultsデータソースの利用例を環境構築からクエリ実行までの手順とあわせて紹介します。 環境構築 Redashの環境構築はDockerを利用することが推奨されているので、Dockerを使って環境構築をしますが、Query Resultsデータソースの動作を確認するため、Redash標準のセットアップ手順に加えて、MySQL、

個人的に欲しくなったので作った。crontab(CRON TABle)を読むためのツールなので、crontoc(CRON Table Of Contents)という名前。 github.com 導入方法などはREADMEのとおり。 使い方 crontab -lを見やすくするツールなのでどこで動かしてもいいけど、個人的には「あのサーバー、直近で動くバッチってなんだっけ」というのをサクッと確認したくて作ったので、sshコマンドでcrontab -lを実行し、その結果を標準入力として渡すと良い。 $ ssh remote-server crontab -l | crontoc Next: 2017-09-19 23:33:00 +0900 JST # * * * * * vmstat >> /tmp/vmstat.log Next: 2017-09-20 00:10:00 +0900 JST #

簡単だけど記録として残しておくための記事です。 前提 Macを使っている この記事ではiOSアプリについての手順のみ紹介します React Nativeがインストール済みで使ってiOSアプリを作ったことがある HelloWorld程度の知識で十分です 使用したバージョン react-native-cli: 2.0.1 react-native: 0.43.3 Xcodeを少しだけ触ったことがある ビルド、実行ぐらいができれば十分です FabricのMacアプリがインストールされている Crashlyticsがなにをしてくれるかをざっくり知っている 手順 プロジェクトを作成する まずはReact Nativeのプロジェクトを作成します。 $ react-native init Hello しばらくするとプロジェクトのディレクトリが作成されます。 Fabricアプリを使ってCrashlytic

この記事はMackerel Advent Calendar 2016 9日目の記事です。去年も参加していたので2年連続の参加になりました。 qiita.com 前日はt_mrtさんの「Synology DiskStation DS215j に mackerel-agent をインストールしてディスクの様子を監視する」でした。 blog.yux3.net 作ったもの github.com Mackrelにログインするほどでもなく、mkrよりカジュアルにメトリクスを確認できるようなものがあったらいいかな。と思ったのをきっかけに、 Slackでmkr [Mackerel上のホスト名] と発言すると、そのホストの最新のメトリクスを返してくれるBotを作りました。 Go言語力はまだまだ弱いので、気になることがあればPRやコメントをいただけたらうれしいです。 使ったもの Githubで公開されているm

最近は社内でSQLの啓蒙活動をしています。 幸いにも何人か興味を持ってもらったので、一通りSQLを学べそうな「SQL書き方ドリル」を会社で買ってもらったので、 SQLとあわせて啓蒙中のre:dashから、書籍付属のサンプルDBを使って、手を動かしながら勉強できるような環境を作ってみました。 改訂第3版 すらすらと手が動くようになる SQL書き方ドリル (WEB+DB PRESS plus) 作者: 羽生章洋,和田省二,菅井大輔出版社/メーカー: 技術評論社発売日: 2016/04/12メディア: 大型本この商品を含むブログを見る 前提 お使いの環境でVagrantが使えるようになっている環境を前提とします。 Macで動作確認していますが、Windows, Linuxでも動くと思います。 準備 re:dashをGitHubからcloneします。 $ git clone https://git

8/4に開催された表参道.rb #14でLTさせていただきました。 omotesandorb.connpass.com ビアガーデン風ということで、会場提供していただいたSansan株式会社様のGardenというイベントスペースで開催され、飲み物、食べ物も無料提供していただきました。ごちそうさまでした。写真とっておけばよかった。 発表資料 Rubyを触る機会が以前にもまして減っているのですが、最近使ったDigdagにRuby APIがあったので、Ruby APIについてLTしました。 懇親会でもいろいろお話を伺いましたが、みなさんバッチ処理ではそれなりに困りごとがあるようだったので、興味を持って聞いていただけたのかなと思っています。 ひさしぶりのLT登壇で緊張しましたが、いくつか笑いも起こっていたので、自分も楽しんでLTできました。 資料はこちらです。 speakerdeck.com 追記

まえがき mackerel-plugin-php-fpm使いたいんだけど、CentOS使ってるんだけどまだyumで入ってこないんだよねー？と言われたので、ちょっと気になったので調べてみました。 このプラグインは私が作ったものなのですが、私の場合はgo buildしたものを/usr/local/binに置くような雑運用かつUbuntu環境なのですが、実際のところどうなんでしょうか。 確認方法について CentOSの環境が無いのでDockerで確認することにしました。Docker for Macがリリースされてから、よりDockerが気軽に使えるようになりましたね。 gist.github.com 今回はmackerel-plugin-php-fpmのインストールだけを確認したいので、mackerel-agentはインストールしていません。 確認のための準備 準備と言ってもdocker bui

手近なものでできそうだったので、連休の合間にやってみました。 Raspberry Piの準備 Raspberry PIはすでに持っていたRaspberry Pi 2 Model Bを使います。 Raspberry Pi 2 Model B (1) 出版社/メーカー: Raspberry Piメディア: エレクトロニクスこの商品を含むブログ (10件) を見る USBマイクはこれを使います。Raspberry Piでマイクを使うときはよく使われるものみたいですね。 SANWA SUPPLY MM-MCUSB16 USBマイクロホン 出版社/メーカー: サンワサプライ発売日: 2009/05/13メディア: エレクトロニクス購入: 2人 クリック: 3回この商品を含むブログ (6件) を見る Raspberry PiでUSBマイクを使う例は、それなりに検索するとでてきますが、以下の記事を参考に

影響されやすい性格なので、Rebuildを聞いて形骸化しかけていたTODOリストの運用を再開しました。 rebuild.fm 最近までTodoistを使っていたのですが、ちょっと気分転換もしたかったので、以前使っていたTrelloに出戻りしました。 Todoistと違ってTrelloは公式のMac版クライアントがないようなので、主にブラウザから使っているのですが、ちょっとタスクのリストを確認したいときに億劫になってしまうので、ターミナル上で実行可能なCLIクライアントを書いてみました。 github.com 「trello cli」で検索すると、すでにいくつかTrelloのCLIクライアントが公開されています。 github.com github.com すでにあるものをなぜ作ったかという話ですが、GWに時間があったので書いてみたくなった。というのが主なモチベーションです。 Goで書いた理

Serializerとは PHPの配列やオブジェクトをXMLやJSONにシリアライズしたり、その逆にデシリアライズすることができるライブラリです。 PHP向けのre:dash APIクライアントを作っている時に見つけました。 github.com SymfonyにもSerializerというコンポーネントがありますが、Githubのスター数が多いという理由で今回はschmittjoh/serializerを選択しました。 Githubのスター数こそ少ないですが、Symfony内部で使われていそうなので、実ユーザーはこちらのほうが多いかもしれません。 インストール Composerでインストールできます。 $ composer require jms/serializer 使い方 簡単なサンプルコードで使い方を紹介します。 サンプルコード シリアライズ まずはPHPの配列をJSONにシリアラ

週末にまとまった時間ができたので何か書こうと思った結果としてできた。 (6/30更新：本家にマージしていただきました！) github.com 使ってみるとこんな感じ。Queue関連のメトリクスを実際の値でテストしたかったけれど、Backlogとかその辺がいろいろわかってないせいかできなかったので以下の動作イメージでも0のまま。 インストールは適当にgo getして$GOPATH/binからコピーするのを想定。 ひさしぶりにGoを書いたのでMackerelのヘルプを写経してから書いた。 mackerel.io ヘルプをよく読めば気づいたことではあるけど、メトリクスはuint64またはfloat64でないと送信できないことに気づくまで2時間近くハマってしまった。それがなかったら1時間ちょっとで大体の処理は書けていたと思う。 テストコードではHTTPリクエストをモックできるhttpmockを使

前回に引き続き参加してきました。 eure.connpass.com 今回は懇親会兼、LT会もありました。主催のエウレカさんありがとうございました！ もくもく会でやったこと 残念ながらGoはほとんど触らず、当日のLT資料を書いていました。。ちなみに会場についた状態で進捗は0枚でした。 ちょっと本旨とずれたことをしていた感があるので、次回はGoでもくもくしたいところです。 LT 今回のLT発表者は2名でした。@kakakakakku に先週金曜日あたりにLT参加を振られたのでノリで参加枠からLT枠に切り替えましたが、 Goをネタにいったい何話したらいいんだろう。と週末かなり悩みましたが、なんとか発表を終えることができてほっとしています。 speakerdeck.com たいそうなタイトルですが大した内容ではありません。 趣味で書いていても面白く無いからなんか仕事で使えるようなものが書きたいな