概要 ミラティブではデータ分析用ツールとしてRedashのSaaS(redash.io)を使用している。(Lookerと併用) 2021年11月末で redash.io のサービスが終了する。そのため、自前のGCP環境にRedashを移行した。 Redash謹製の移行ツールが提供されているが、いくつかハマったポイントがあった。 本記事では、GCP環境への移行手順・移行時のハマリポイント・移行後にあると便利なものを紹介する。 はじめに 初めまして、ミラティブでデータ分析基盤を担当している芝尾です。データ分析チームは5名のチームになっており、日々ユーザーの皆様のデータを分析してサービスの向上に努めています。今回はミラティブで使用していたデータ分析可視化ツールの移行を行いましたのでそのやり方を共有します。 背景 Redash hosted サービスが終了します。この記事 によると 2021/11

こんにちは。DX事業部の花村(@naomasabit)です。先日の投稿でユーザーの利用状況確認のためにAWSのQuickSightを利用していると書きましたが、並行して分析ツールのRedashも利用しています。Redashの良い点としてクエリベースでの分析、監視アクション、スプレッドシートとのデータ連携が存在します。 SaaSチームの運営において、これらを活用したユースケースについて伝えていきます。 アドホックな分析クエリの共有によるコミュニケーション効率化 監視アクション設定によりデータ不整合にすぐ気づける体制整備 複数チームからのデータソース連携によるヘルススコアダッシュボード作成 最後に - Redashと他の分析ダッシュボードツールの併用について アドホックな分析クエリの共有によるコミュニケーション効率化 Redashでは、まずクエリベースでアドホックな分析クエリの共有が可能です。

Misoca開発メンバー/SREチームの id:mizukmb です。今年も最高気温40度超えの名古屋の夏を乗り切る事ができて安心しています。 今回はSREチームとしてMisocaのパフォーマンス計測を行い、開発向けのサービスレベル目標 (以下、SLO) を設定した話をしようと思います。 実際に計測をはじめる前に すべてを計測できることは理想ではありますが、闇雲に計測するだけではどこを改善するべきか見えにくくなってしまいます。 そこで、実際に計測をはじめる前にSREとしてどこに着目するべきなのかをSREチーム内で認識合わせをするためにSRE本読書会を実施しました。 SRE本読書会の実施 SRE本とは SRE サイトリライアビリティエンジニアリング――Googleの信頼性を支えるエンジニアリングチーム の事です。 Google - Site Reliability Engineering で

Amazon Athenaのクエリ結果をチーム内で共有する場合、クエリ結果を表やグラフ形式でビジュアライズできると便利です。この場合Amazon Athena自身にはビジュアライズの機能がないため、他プロダクトの力を借りる形になります。 弊社ブログでもAmazon QuickSightとTableauでAmazon Athenaのクエリ結果をビジュアライズする方法が紹介されています。 【新機能】Amazon QuickSightがAmazon Athenaをサポート！ ｜ Developers.IO Tableau 10.3新機能：Amazon Athenaへ接続 #tableau ｜ Developers.IO OSSのプロダクトという観点では、Redashも有力な選択肢になるかと思います。 今回はこのRedashでAmazon Athenaに接続しクエリ結果をビジュアライズする方法をご

RedashはOSSのハンディなBIツールとして、ちょくちょく名前を聞いて気になっていましたが、あいにくこれまで触ってみる機会がありませんでした。 そんな折にこちらのハンズオンを見かけたので、行ってみることにしました。 ハンズオンは、@kakakakakkuさんがGitHubに公開して下さっている下の資料に基いて実施しました。 kakakakakku/redash-hands-on: Redash study materials for beginners 📊 丁寧に作られているので、今回のMeetupに参加していない人でも、こちらに沿って作業すると一通り内容が掴めるだろうと思います。 ハンズオン実施項目 上の資料の目次相当のものを書き下します: Redashをローカルマシン上でセットアップ by Docker Compose データソース設定 : MySQL クエリ作成 クエリ結果をグ

About こちらはRedash Advent Calender 2017 19日目の記事です。 qiita.com ノリでFargateを使ってRedashを構築してみました。 もともとのdocker-compose.yml version: '3' services: server: image: redash/redash:${REDASH_VERSION:-latest} command: server command: create_db depends_on: - postgres - redis ports: - "5000:5000" environment: PYTHONUNBUFFERED: 0 REDASH_LOG_LEVEL: "INFO" REDASH_REDIS_URL: "redis://redis:6379/0" REDASH_DATABASE_URL: "

背景 Redash を運用していて，例えば退職者が出たタイミングなど，ユーザー削除って結局どうするんだっけ？という話題が出て，明確な回答ができなかったので，実際に試してみた．ユーザー削除だけじゃなく，権限管理など，今後 Redash の運用面の記事を書く機会が増えそう．なお，今回は Redash 3.0.0 を使って検証した（master を Docker で起動したため最新すぎる可能性もある）． Redash 画面 Redash 画面では，ユーザー追加とグループ管理ができる．ただし，公式ドキュメントにも記載が無いように，ユーザー削除の機能は提供されていなかった．admin 権限でログインした場合は，Redash 画面からユーザー削除ができるべきだと思う． redash.io Redash CLI 公式ドキュメントにも詳細な記載はないけど，Redash には Redash CLI と言うコ

最近、個人事業のお仕事で Redash を使ったデータ分析をやっています。データ分析は「10 年戦えるデータ分析入門」を読んで興味を持っていたので、とてもいい機会をいただきました。 今回は RDBMS の他に S3 にあるログデータも分析したいので Athena を使うつもりですが、ちょうど Redash が Athena を正式サポートしたので試してみました。 Amazon Athena + Redash = ♥ ちなみに、2 月 7 日時点で Athena が使えるのは Hosted 版だけです。自分のサーバにインストールする OSS 版は v1.0.0 で対応するようなので、もう少し待ちましょう（OSS 版は v1.0.0-rc.1 までリリースされています）。 If you run Redash on-premise, you can either wait for the v1.

昨日の書いたエントリがホッテントリ入りしてて、喜ばしい限りです。 kuchitama.hateblo.jp 悲しい思いをしましたが、いく分か取り戻せた気がします。 今日は、昨日の反省を活かして、トラブルがあっても大丈夫なようにRedashのPostgresデータのバックアップとリストアの手順をまとめます。 ちゃんとリストアの手順までまとめておかないとね！！ でないと、実況Youtubeをするはめになる… (実際昨日は @kiy0taka さんと、 @irof さんに実況しないのって煽られてました) 例によってDocker上で運用している前提です。 AWSとかGCP上で運用しているなら、こちらのドキュメントに従えば多分大丈夫だと思います。 Backup Your Redash Database and Restore It on a Different Server · Redash Hel

本家re:dashがDocker化したものを提供しているのでRancher化したかったのだけど、上手く行かず、ひとまずDocker実行出来るようにした。 また、現状(2017/4)の段階で、巷にあふれるre:dashのdocker実行の記事が古く、現状と構成が変わっていたのでメモも兼ねて残しています。 やった事 HTTP_Proxyの考慮 管理用DBはコンテナ外のPostgreSQLを使用 Rancherの都合で、DockerのVer.は固定 前提条件 Ubuntu Server 16.04 LTS DockerをインストールするホストのIPアドレスは、192.168.1.9とする re:dashからメール送信につかうSMTPサーバは認証無し re:dash用の管理DBは事前に空の状態で作成済み DockerのHTTP Proxy設定インストール Dockerのインストールの前に、HTTP

redashディレクトリを作成して、その下にリポジトリをcloneする。Amazon Athenaを使いたいのでそのためのリポジトリもクローンしている。こんな感じの構成にする。 redash/ `-- https://github.com/getredash/redash.git (v1.0.0-rc.2) `-- https://github.com/getredash/redash-amazon-athena-proxy.git (95a9850) `-- docker-compose.yml （作成） redashリポジトリの docker-compose.production.yml をコピーして docker-compose.yml を作り、変更する。（今回redashリポジトリで必要なのはこのymlファイルだけ） 主な変更点： redashのイメージをbuildするようになって

v0.8.2-rc の頃に一回入れたことがあったのだけど 当時は中途半端だったDockerサポートがきちんと整備されていて使えるようになっていた。 http://docs.redash.io/en/latest/setup.html#docker-compose 要は、postgres イメージと Dockerイメージがあれば動きますよって話。 https://github.com/getredash/redash/blob/master/Dockerfile にあるので、 まずは自分の手元でDockerイメージを作成する。 $ git clone git@github.com:getredash/redash.git $ cd redash $ docker build -t redash . docker-compose.yml もサンプルもredashのリポジトリに入っているので、そ

0.はじめに こちらはre:dash Advent Calendar 2016の22日目の記事です。 Advent Calendarについて出遅れたと思っていたところ、、、 こちらはまだ空き枠がありましたので参加しました。 Mac上で以下のような感じで CSVファイルを digdag -> embulk ->　(Re:dashの)PostgreSQLへ格納してRe：dashから見るところまでを記事にします。 デモや素振り用などの参考にして頂ければと思います。 以下は今回本記事では取り扱いませんが以前書きましたこちらの記事や、こちらの記事を参考に応用するとChatOps的な感じでデータ登録が可能です。 1.環境 OSX Yosemite Docker version 1.13.0-rc3, build 4d92237 docker-compose version 1.9.0, build 2

こんにちは、アプリケーション基盤チームの池添（@zoetro）です。 2016年9月に中途入社し、Necoプロジェクト（アーキテクチャ刷新プロジェクト）において新しいログ基盤の構築を進めています。 その一環でRedashの導入もおこなっています。 新しいツールやサービスを導入するときに気になるのが認証の仕組みです。 社内ではいろいろなツールやサービスを活用していますが、それぞれにアカウントをつくるのは大変なので、やはりシングルサインオン(SSO)したいですよね。 Redash v0.11のドキュメントを見るとSAML認証について記載されていました。 さっそくSAML認証の設定をし始めたわけですが、どうにもうまくいきません。 そこで、SAML認証ができるまで - Cybozu Inside Out | サイボウズエンジニアのブログを読み、RedashやOpenAMのソースを調査し、SAMLの

Oracle だらけの環境の皆さんへ Docker Compose Install ※ docker はInstall済み $ uname -r 3.10.0-327.el7.x86_64 $ sudo curl -L "https://github.com/docker/compose/releases/download/1.9.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose $ sudo chmod +x /usr/local/bin/docker-compose $ sudo curl -L https://raw.githubusercontent.com/docker/compose/$(docker-compose version --short)/contrib/comple

Re:dashとDocker for Macでらくらく分析・可視化環境構築 analyticsdockerpythonRedash ビザスク開発者ブログ第一弾記事を書かせてもらうことになりました、 @shinyorke(Shinichi Nakagawa)ともうします. 我々ビザスク(https://service.visasq.com)の開発チームでは、データに基づいた客観的な観点をベースに施策を実施しています. 現状はエンジニアがGoogle SpreadsheetsやGoogle Apps Script（社内では「ガス(GAS)」と呼ばれています)、Slackを駆使して数値の可視化や共有をしていますが、 ひとつの画面、いわゆる「ダッシュボード」で分析・可視化を行ってチーム全員で共有しよう！ 将来的にはビジネス側のメンバーにも数値出しや可視化をしてもらおう！ という機運が高まり、分析・

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

この記事では、re:dashをdockerで一通り動かすことをやってみます。 re:dashとは こんな感じでデータをビジュアライズできるツールです。 (↑公式ドキュメントより拝借) re:dashの特徴は以下のとおりです。 取り込むことのできるデータの形式が豊富!! BigQuery, TD, ElasticSearch, GoogleSpreadSheet, 任意のURL, etc. アラート機能(メール)もある!! 動かす AWS, GCEで専用マシンイメージが配布されているようですが、 今回はdocker composeを使って自分のOSX内で実行してみました。 docker compose Setupを読んで手順通りにやっていきます。 1. Make sure you have a Docker machine up and running. 2. Make sure your

re:dashというデータ可視化ツールがあります。MySQL、Redshift、TDなどからデータを引っ張ってグラフ化できたりして、非常に便利なんですが、今まではHighchartsというライブラリに依存しており、ライセンスの関係で利用できる用途が限られていました。先日、Feature: replace HighCharts with Plotly by alonho · Pull Request #687 · getredash/redashでPloylyという別のグラフ描画ライブラリに移行されたので、Dockerで動かしてみました。 Dockerイメージ masterブランチにDockerfileが含まれていますが、そのままdocker buildするとアセットがインストールされません。docker build前にmake depsを実行しておく想定っぽいですが、ビルドするホストにno

Redash helps you make sense of your dataConnect and query your data sources, build dashboards to visualize data and share them with your company. “Redash is as essential as email to my company. We love data but accessing the data is a pain without Redash. Any company I go to, I get them hooked on Redash. It’s an easy sell :)” by Ben Dehghan, Co-Founder of Data Miner Read what our users say → Write