はじめに データアナリティクス事業本部　BIチームのkariyaです。 BIチームでは、アンケートデータの可視化をテーマにブログリレーを行っています。 当記事では、Power BIを用いてアンケートデータの可視化を行います。 Power BIとは Microsoftが提供している、Windowsで使用できるセルフBIツールです。デスクトップアプリのPower BI Desktopは無料で利用することができます。 Share Point Online等とのデータの連携が容易なため、Microsoft 365を使用している組織などでは特に便利なツールです。 Microsoft Learn:Power BIとは? Power BIの操作画面について簡単に説明します。赤枠部分の左から順に、フィルターペイン、視覚化ペイン、データペインがあります。 具体的な操作についてはこの後に記載していきますが、お

基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 　Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.

はじめに データアナリティクス事業本部のkobayashiです。 以前Google Colaboratory(以下Colab)でBigQueryのデータを扱うエントリを書きましたが、その中でデータをColabで可視化する際に都道府県別のデータを日本地図で表現するライブラリを使いました。そのライブラリの使い勝手が良かったので深堀りをしてみます。 japanmap · PyPI GitHub - SaitoTsutomu/japanmap japanmapとは できるとこはとてもシンプルで都道府県別に日本地図を塗り分けるライブラリです。 使い方は「辞書型で色情報を渡す」のか「PandasのSeriesで色情報を渡す」の2パターンがあります。 辞書型で色情報を渡す 都道府県名:色情報で辞書を作成してjapanmapのライブラリに指定すれば良いだけです。 色情報は以下の型式で指定します。 カラー名

さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと

[レポート] ExcelからIDEへ、そしてその先へ〜データエンジニアの原点と未来 #dbtCoalesce 大阪オフィスの玉井です。 2022年10月17日〜21日に行われたCoalesce 2022というハイブリッド（オンライン+オフライン）カンファレンスが開催されました。主催はdbt labs社です。 本記事は、その中で発表されたFrom Excel to IDE and beyond: The origins and future of the data developerというセッションについて、レポートをお届け致します。 セッション概要 登壇者 Katie Hindson Head of Product & Data, Lightdash 超概要 最近のデータ分析に関するツールやサービスは、コードを書いたりそれらをバージョン管理したりと、ソフトウェア開発っぽくなってきています。

【退職エントリ】データサイエンティスト目指してたけど、途中で別にデータサイエンティストなりたくねぇなって思ってデータアナリストになった話。 特に就活生・転職を考えている方が多そうだったので、私が今回の転職で、何をどのように考えて動いたのか参考になるかもしれないと思い、整理してみました。 目次 1. 自己紹介 2. 準備段階でやってよかったこと 3. 応募先を決めるときの条件 4. あれ、別にデータサイエンティストじゃなくてよくね 5. それから1.自己紹介はじめに簡単に自己紹介します。 ・現在29歳 ・私大文系卒 ・中規模のデータ分析職(現職)⇒大手IT会社のデータアナリスト職(内定先) ・Pythonで機械学習の勉強を始めたのは2年ほど前 (それまでプログラミング経験はなし) 2. 準備段階でやってよかったこと現職に入社してから現時点でおよそ3年半です。転職に向けて実際に求人に応募し始め

本記事では、今注目されているデータカタログの一つ data.world について紹介とデモを行なっていきます。 そもそも、「データカタログって何？」という方のために軽く説明しておきますと、データカタログとはざっくり、 データベース・データレイク内のデータに対して、概要や特徴量、関連性などをまとめて一覧化しておくサービス です。え、それだけ？と思われるかもしれませんが、現代のデータ基盤はデータソースの数も増加してますし、BIなどから参照する分析用のデータ（データマート）の数も増加していることから、「とりあえずどんなデータがあるのか、ざっくり知りたいんだよね〜。」といったニーズが増えつつあります。 data.worldについて data.worldは、2015年にアメリカのテキサス州で創業されたデータカタログのベンチャー企業です。data.worldは元々、データに関するオープンなコミュニティ

GeekGig 『スタディサプリ x Showcase Gig』 〜フロントエンドを楽しむ〜 Links: p.6 [Deep Environment Parity CDNT 2019 - Speaker Deck](https://speakerdeck.com/spring_mt/deep-…

アプリケーションのテストなどで利用できる、リアルな架空の個人情報データ（疑似データ）を生成するツールです。

Yahoo! JAPAN Digital Hack Day 2021の技術紹介イベントでのプレゼン資料です。 https://hackday.yahoo.co.jp/ アーカイブ動画はこちらからご覧頂けます。 https://youtu.be/3e9OPS8qSA4?t=9890

こんにちは。イムチェジョンです。 今回はServerless Frameworkを利用してDynamoDBを使ってみるハンズオンをやってみようと思います。 AWS Management Consoleを利用してDynamoDBを使ってみるハンズオンを前にブログで作成したので、よろしかったら、下の青いタイトルをクリックしてください。 NoSQL テーブルを作成してクエリを実行する 今回は上のハンズオンでやったNoSQL テーブルを作成してクエリを実行することをServerless Frameworkを使ってやりたいと思います。 アジェンダ Serverless Framework 初期設定 DynamoDB テーブルの作成 DynamoDB テーブル操作（関数） まとめ 1. 初期設定 1-1. サービスを作成 まず、Serverless Frameworkのサービスを作成します。 サービス

避暑地とは Wikipediaによれば避暑地とは以下のような場所らしいです。 避暑地（ひしょち）とは、避暑のために訪れる土地。夏でも冷涼な気候であることが求められるため、標高の高い地域や、緯度の高い地域が選ばれることが多い。 同様にWikipediaによれば以下の場所が避暑地として挙げられるようです。 北海道：釧路、阿寒 青森県：十和田湖、酸ヶ湯 秋田県：田沢湖 岩手県：八幡平 宮城県：蔵王町 福島県：磐梯高原、会津高原 栃木県：那須高原、奥日光 群馬県：草津、嬬恋 埼玉県：秩父郡 新潟県：越後湯沢、苗場 東京都︰高尾山 神奈川県：箱根、大磯 山梨県：富士五湖、清里高原（八ヶ岳山麓） 静岡県：御殿場 長野県：軽井沢、野辺山・蓼科高原（八ヶ岳山麓）、安曇野、上高地、志賀高原、開田高原 岐阜県：奥飛騨温泉郷、根の上高原 兵庫県：六甲山 和歌山県：高野山 鳥取県︰大山 熊本県︰阿蘇地方・阿蘇山

はじめに データアナリティクス事業本部の鈴木です。 緯度・経度の情報が入っている地理データを確認する機会がありました。 手軽に確認するのに、Foliumというライブラリを使うと便利だったので紹介します。 Foliumとは pythonからLeafletを使ってインタラクティブな地図を作成できるライブラリです。LeafletはオープンソースのJavaScriptライブラリで、Web地図サービスでインタラクティブな地図を作成するのに使われています。 Foliumを使うと、緯度・経度の値を使って、地図上にマーカーを立てたり、そのマーカーに視覚的な効果を付け足すことができます。タイルはいくつかの選択肢がありますが、デフォルトではOpenStreetMapが使われます。 こんなときに使うと便利 データの観測地点の場所が知りたいとき 地図上にマーカーを作成できるので、データの場所を可視化できます。 必

AWS Summit Online Japan 2021 のDeveloper Zoneにて公開されているセッション「ビジュアルツールで簡単に始められるデータ加工」を視聴したので、内容をまとめています。 セッション情報 登壇者 アマゾン ウェブ サービス ジャパン株式会社　ソリューションアーキテクト　アナリティクス　川村 誠 氏 セッション概要 データの可視化や分析、機械学習には、データのクリーニングや正規化といったデータ加工が必要になります。AWS Glue DataBrew を利用すると、ビジュアルツールで簡単に素早くデータを加工できます。実施したデータ加工手順をレシピとして保存したり、保存したレシピを共有することができるので、データ加工が効率的になり、ビジネスから得られる価値創出に集中できるようになります。今日からすぐにデータ加工を始められるように、AWS Glue DataBrew

本記事は、AWS Summit Japan 2021のセッション動画、「AWS-06: 貯めるだけじゃもったいない！AWS 分析サービスを使ったデータレイクの有効活用」のレポート記事です。 「データはとりあえずS3に溜めておけ！」とデータレイクっぽいものは作れたけど上手く使いこなせていない方、それなりにいらっしゃるのではないでしょうか？本セッションでぜひAWSの分析サービスの活用術をおさらいしてみてください。 概要 データの持つ力を活かす方法としてデータレイクがありますが、データレイク上にデータは貯まってきたものの、どう有効活用すればいいか悩んだ経験はないでしょうか？データレイクに存在するデータと分析ツールと組合せ、活用する方法として、“レイクハウスアプローチ”があります。本セッションでは"レイクハウスアプローチ"の考え方を紹介すると共に、どのようなAWSサービスを用いて"レイクハウスアプ

リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基礎について紹介しました。 企業規模に関係なく起こるデータのサイロ化 野口真吾氏（以下、野口）：みなさんこんばんは。本日は「検索インフラ Tech Talk!」ということで、検索インフラから少し広げた話題にはなるんですが、「AWSを用いたデータレイクの基礎」というお話をします。よろしくお願いします。 最初に簡単に自己紹介します。アマゾンウェブサービスジャパンでスタートアップ担当のソリューションアーキテクトをしている野口真吾と申します。Twitterでは＠nogというIDを使って活

こんにちは。 データアナリティクス事業本部ソリューション部プリセールススペシャリストの兼本です。 Snowflakeでは、利用状況レポートを使用して自社のSnowflakeの利用状況を把握するGUIが用意されています。 利用状況はACCOUNTADMINもしくはアクセスを許可されたロール権限を付与されたユーザが画面で確認するほかに、Snowflake共有データベースのAccountUsageスキーマに対して以下のクエリを発行することでも把握できます。 過去365日内の1つのウェアハウス（またはアカウント内のすべてのウェアハウス）の時間単位のクレジット使用状況をクエリ select * from SNOWFLAKE.ACCOUNT_USAGE.WAREHOUSE_METERING_HISTORY; Snowflakeステージの1日あたりの平均データストレージ使用量をバイト単位でクエリ sel

データアナリティクス事業本部コンサルティングチームの石川です。3/1（月）BigData-JAWS 勉強会#16に参加してLake House Architectureについてお話をさせて頂きました。 Redshiftを導入しているお客様から、「今後データレイクを始めたい」というご要望をよく伺います。「データレイク」と聞くとGlue Crawlerでデータカタログに登録・更新、SparkでGlue ETLジョブ作成・実行が必要と考えられることが多いのですが、Redshiftをご利用であれば、SQLだけでデータレイクの構築・運用が可能です。 BigData-JAWS 勉強会#16 BigData-JAWS 勉強会#16 19:00 - 19:02　オープニング / OPTARC 丸本さん 19:02 - 19:25 Lake House Architecture Pattern / クラスメ