こんにちは、最近気になっている哺乳類はオリンギートな、開発部の塩崎です。 私の所属しているMarketingAutomationチームではRealtimeMarketingシステムの開発運用を行っております。 このシステムはZOZOTOWNのユーザーに対してメールやLINEなどのコミュニケーションチャンネルを使い情報の配信を行うものです。 メルマガの配信数や開封数などの数値は自動的に集計され、BIツールであるRedashによってモニタリングされています。 このRedashは社内PCによってホスティングされていましたが、運用面で辛い部分が多々あったためパブリッククラウドに移行しました。 移行先のクラウドはawsを選択し、RedashをホスティングするためのサービスはECS/Fargateを選択しました。 この記事ではawsに構築した環境や、移行作業などを紹介します。 移行前のRedash 移

アイスタイルで分析基盤の構築・運用を行っているやすです。主にBigQuery, digdag, embulk, Redashといった技術を日々の業務では取り扱っています。 BIツール redashの愛好家が集まるユーザーコミュニティ redash meetup にLT枠で参加したので、発表内容と他の発表者の方々のLTを紹介します。 各LTのまとめと感想 Redash v5 アップデートピックアップ 発表者：@kyoshida 9月末にリリースされたRedash v5の目玉追加機能の紹介LTです。個人的には待望の「クエリをお気に入りできる機能の追加」が大ニュースでした。Version 5まで、クエリを探すには検索しかありませんでしたが、使用頻度が高いようなクエリをすぐに見つけられるようになったのはとても嬉しいです。クエリパラメータで日時を入力する際に、カレンダーが表示される機能追加も地味に嬉

Redash Meetup 3.0.0 の発表資料です

Redash Meetup #2の発表資料です

こんにちは、Webエンジニアの本間です。 最近、ランニングを始めまして、業務後に家の近くを走っています。 走り終わると頭の中のもやもやスッと抜けてて、とても爽快です。1人でできるスポーツですし、今後も続けていきたいなーと思っています。 さて話は変わりまして、弊社ではチケット管理にAtlassian社の JIRA を使っています。 チケットは、要望や機能追加、不具合修正などのコード修正を伴うものと、障害調査やエンジニア作業などコード修正を伴わないものがあり、後者を「運用作業」として区別して管理しています。 「運用作業」は新しい価値を生み出さない時間であるため、0かそれに近い値になっていることが望ましいです。 これを減らすためには色々な対策が必要になりますが、まずは「エンジニア自身がどれだけ運用作業に工数を使っているか、日々意識する」ことが大事なのではと考えました。 これを実現するため、毎週ど

IaaSが一般化してからメモリで悩むことは減りましたが、それでも無駄は減らしたいものです。 この記事ではRedashのメモリ使用量の節約について紹介します。 前提条件 以下の環境で検証しました。 macOS Sierra 10.12.6 Docker CE 17.09.1-ce-mac42 Redash v3.0.0 ctop コンテナのメモリ使用量確認にはctopを使用します。 github.com 検証準備 $ git clone git@github.com:getredash/redash.git $ git checkout refs/tags/v3.0.0 $ docker-compose -f docker-compose.production.yml run --rm server create_db $ docker-compose -f docker-compose.p

この記事はRedash Advent Calendar 2017 24日目の記事です。 qiita.com Redashのクエリも名前付け重要 Redashはフォーク機能によって、あるクエリをもとにした派生クエリを作成することが簡単になっており、新規クエリもUIから簡単に作成できるため、お手本のクエリを参考にしつつ、利用者が欲しいデータをエンジニアを介さずに抽出することができるようになります。 しかし、クエリの作成・フォークがカジュアルにできることによって、「クエリの名前付け」問題が少しずつ影を落としはじめるのも事実です。 クエリ名前付けに関わる問題としては、以下のような問題が考えられます。 何をするためのクエリなのかわからない 同じような名前のクエリがいくつもある フォークを繰り返した結果、"Copy of (#2) Copy of (#1).." のようなクエリが乱立する 過去にはエウ

今日はRedash Advent Calendar 16日目ですが、この記事はAdvent Calendarの記事ではありません。 qiita.com 12/16の記事はvankobeさんによる、Redashの結果をGoogleスプレッドシートで扱う事例の記事です。 qiita.com Redashの便利さと、その裏にあるつらみ Redashを活用しはじめて1年半ほど経ちますが、今ではRedashなしで業務が回らなくなるほどに使い倒しています。 しかし、Redashの活用が進んだことによって「Redashが落ちたら全てが止まる」といった状況になりつつあることも事実で、たまにRedashの収容サーバーからアラートが飛んでくると、背筋が凍る思いをしています。 それだけでなく、Redashの利点でもある「誰でもクエリを実行・編集できる」というのが、運用上問題になることも何度か経験してきました。

今日は「Redash Advent Calendar 2017」7日目の記事として，最近作った「Redash ハンズオン資料」を紹介したいと思う． qiita.com Redash ハンズオン資料 全て GitHub に公開していて，誰でも学べるようになっているし，ハンズオンの対象者として Redash 未経験者だけではなく，経験者（初中級者あたり？）も含めている．是非，試してみてもらって，感想エントリーなどフィードバックをもらえると嬉しい．年末年始の課題にしてみるのはどうでしょー？ github.com なぜハンズオン資料を作ったのか？ まず「Redash は知っていて興味はあるけど，まだ試したことがない」という人がそこそこ多いような気がしていて，未経験者が数時間で Redash の全体像を学べるようなコンテンツを作ったら価値があるのではないかと考えていた．そしてもう1点，Redash

こんにちは、アプリケーション基盤チームの池添（@zoetro）です。 2016年9月に中途入社し、Necoプロジェクト（アーキテクチャ刷新プロジェクト）において新しいログ基盤の構築を進めています。 その一環でRedashの導入もおこなっています。 新しいツールやサービスを導入するときに気になるのが認証の仕組みです。 社内ではいろいろなツールやサービスを活用していますが、それぞれにアカウントをつくるのは大変なので、やはりシングルサインオン(SSO)したいですよね。 Redash v0.11のドキュメントを見るとSAML認証について記載されていました。 さっそくSAML認証の設定をし始めたわけですが、どうにもうまくいきません。 そこで、SAML認証ができるまで - Cybozu Inside Out | サイボウズエンジニアのブログを読み、RedashやOpenAMのソースを調査し、SAMLの

2016/12/01に、Amazon S3上のデータにアドホックにSQLクエリを投げられるサービスであるAmazon Athenaがリリースされました。 Athenaの概要に関しては以下をどうぞ。 Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを Amazon Athenaを使ってみました #reinvent Amazon AthenaをBigQueryと比較してみた 自分で軽く使ってみた感じだと、SaaSなので管理コストが低い上にクエリのパフォーマンスもかなり良く、非常に可能性を感じるサービスだという印象です。 というわけでAmazon Athenaをもっと使っていきたいので、OSSのBIツールであるre:dashからAmazon Athenaにクエリを投げられるようにしました。皆さんも良かったらやってみてください。 コメント欄にもありますが、re:d

Full Access と View Only の違いは 新規クエリが発行できるかどうか 。 データソースに対する書き込み権限の制御はre:dash側ではできないので データソース側で権限管理しましょう。 View Only はいつ使うのか View Only は「新規クエリは発行できないがクエリの結果は見られる」という権限です。 例えば以下のような場面で必要になります。 ダッシュボード閲覧のみができればいい センシティブな情報が格納されているデータソースに対する集計結果のみ見たい ダッシュボードに閲覧の制限はかけられるか できません。 対象ダッシュボード内の一つでも自分がアクセスできるデータソース関連のウィジェットがあれば一覧に表示され、閲覧も可能です。 (閲覧権限がない他ウィジェットの内容は見られない) 事例： 営業メンバーがSQLを使うチームの re:dash 権限管理 何をしたかっ

Re:dash Advent Calendar 2016 小ネタです。 普段Re:dashを使用して、RDB, BigQuery, Redshiftなどなど複数のデータソースを使用してデータの閲覧や可視化を行ってます。クエリを定期実行したりカスタムのダッシュボードを作成したりできるので重宝しています。 今回はクエリの定期実行とpythonのデータソースを組わせて、複数のクエリの実行結果をSlackに投稿するbotを作成してみました。 pythonデータソースの有効化 pythonのデータソースは、デフォルトで無効化されているので、有効化します。pythonデータソースを有効化しなきゃならないのですが、これを有効にするといろんなことができるようになるので、有効化は慎重に判断してください。 自分の場合、redashのサーバーにパブリックIPをつけずプライベートなセグメントに置いてあり、VPNの

パスワードを忘れた方はパスワードの再設定を行ってください。 初めての方ははてなID登録 (無料) してください。 うまくログインできない方はお問い合わせをご覧いただき、Cookieの設定をご確認ください。

Re:dashとDocker for Macでらくらく分析・可視化環境構築 analyticsdockerpythonRedash ビザスク開発者ブログ第一弾記事を書かせてもらうことになりました、 @shinyorke(Shinichi Nakagawa)ともうします. 我々ビザスク(https://service.visasq.com)の開発チームでは、データに基づいた客観的な観点をベースに施策を実施しています. 現状はエンジニアがGoogle SpreadsheetsやGoogle Apps Script（社内では「ガス(GAS)」と呼ばれています)、Slackを駆使して数値の可視化や共有をしていますが、 ひとつの画面、いわゆる「ダッシュボード」で分析・可視化を行ってチーム全員で共有しよう！ 将来的にはビジネス側のメンバーにも数値出しや可視化をしてもらおう！ という機運が高まり、分析・

追記 Re:dashのデータソースとしてGoogle Analyticsが正式に追加されるようです。リリースされた暁には、本記事にあるような面倒な手順を踏む必要はなくなりそう？ re:dashのGoogle Analyticsデータソースを試す 初めに Re:dashはオープンソースで提供されている、ダッシュボードツールです。サーバー構築の手間はかかりますが、超簡単にさまざまなデータソースから、自由にダッシュボードが作れるようになります。 今回は、おなじみGoogle Analyticsの情報を、Re:dashでダッシュボード化する方法を解説します。 追記 twitterを見ていて。 Treasure Dataでは、GAのレポートを突っ込む方法があるようです。 http://blog-jp.treasuredata.com/entry/2016/09/13/163306 Google Bi

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?