こんにちは！アシスタントデザイナーのくぼです！ 本記事では、データビジュアライゼーションとは？から、デザインする際に注意するべきポイントをご紹介します！ データビジュアライゼーションとは「データを分かりやすくする」こと データビジュアライゼーションは、データを理解しやすいよう視覚的に表現することです。重要なのは、見る人がそのデータを正確に読み取れるようにすることです。 具体的には文字と数字で表されるデータを、グラフや図などのチャートで視覚化することを指します。この「視覚化」には、類義語に「可視化」という言葉が存在します。それぞれの意味を見比べてみましょう。 可視化→見えないものを見えるようにすること 視覚化→目に見えない抽象的な事などを、見てわかるような形にして示すこと データビジュアライゼーションにおいては、見えるようにするだけでは不十分で、データの意味や内容を分かりやすく・理解しやすく

日本の空き家問題は新たなフェーズに突入しようとしています。 これまで人口減少が続く「地方の過疎地」の問題とされてきましたが、近年は県庁所在地などの都市部や大都市圏でも空き家が急増。そして団塊世代が平均寿命を超過し、多くの相続問題が発生する2040年に向けては、更に拍車がかかるといわれています。 今回NHKでは、明治大学の野澤千絵教授に協力を依頼。「2040年空き家数予測マップ」を作成し空き家問題の未来を可視化しました。分かってきたのは、いわゆる「人気の町」「人気のエリア」であっても空き家問題からは逃れられないという深刻な現実。 あなたの町、あなたの実家のある町は大丈夫ですか!?　必見のデータマップです。 野澤千絵さん / 明治大学政治経済学部教授 国土交通省の審議会委員　現場を訪ねデータ解析も用いて空き家や土地政策を研究 マップを見るポイント ―今回の2040年空き家予測マップの特筆すべき

グラフモデルとSoEとGraphQL / TECH STAND #7 GraphQL 2022/03/03 に行われた stand.fmさん主催の TECH STAND #7 にて上記のタイトルで登壇しました。 今回の内容は GraphQLの採用を検討するにあたって、RESTとの違い、BFFとの違いをデータの観点から言語化したかった Hasuraが良いという意見と, Apolloやgraphql-ruby, gqlgenなどのハンドライティングなGraphQLが良いという意見の違いがどこから生まれているかの考察がしたかった データ指向アプリケーションデザイン(2017年リリース)にSoEやGraphQLへの言及がないため, 今だとこういう内容が書かれているんじゃないかという考察がしたかった をモチベーションに調査・検討しました。 発表のハイライトはこちらです。 以下発表内容です。一部発表時

PythonでLayered ArchitectureとClean Architectureを使ってカレーと肉じゃがを作ってみたPythonDDDSOLIDCleanArchitectureレイヤードアーキテクチャ 概要 突然ですがClean Architectureについて皆さん理解できていますか？ この記事を書くまで僕の理解度はこれくらいでした。 「Clean Architecture？ああ、有名なドーナツの図のアレだよね。」 (ref: https://blog.cleancoder.com/uncle-bob/2012/08/13/the-clean-architecture.html) Clean Architectureに関する記事をネットで調べると正直上記のような「有名なドーナツの図のアレ。」と書いてあるだけの記事も散見します。 そこでこの記事ではClean Architec

naki @naki_mk 同僚からもらった画像だけど、ワイもようやくPythonから Excelに降り始めるフェーズに入ってきた気がする。 pic.twitter.com/iqSgbbhobX 2022-09-06 08:11:05 naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ！まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…ｽｸｼｮ貼ﾘ付ｹ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」 2022-08-19 09:58:41

34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 2022年のNHKスペシャルなどで紹介された内容です なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場

この度、「社会人のためのデータサイエンス入門」の開講に先立ち、「誰でも使える統計オープンデータ」を特別開講しております。 入門編と学習することで、統計の基礎やデータの見方・データの取得方法などを学べます。この機会にぜひ2講座併せてご受講ください。 ※「《特別開講》誰でも使える統計オープンデータ」は、修了証の発行はございません。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち"データサイエンス"力の高い人材が求められている。このようなことを踏まえ、本コースでは"データサイエンス"力の向上を目指し、事例なども踏まえ、データ分析の基本的な知識を学ぶ。 コースは4つの部分に分かれている。第1週では、社会でデータがどのように活用されているかについて、実際のデータを用いた分析事例を紹介する。第2週では、データを理解し、分析する際に必要な統計学の基礎につい

Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概

シングルマザー世帯は過半数が貧困に直面 日本において子どもの貧困がどのような状況にあるのか。社会的な関心が高まる一方、全体像はわからない状況が続いていた。これまでも一部の自治体で調査が実施されていたものの、全国レベルでの調査は行われてこなかったからだ。 内閣府による今回の調査は、2021年2月から3月にかけて行われた。調査の対象となったのは全国の親子5000組で、有効回収数は2715組（有効回収率54.3％）だった。 ここでまず注目しておきたいのは、子どもの貧困調査として、子どもだけではなく保護者も対象としたことだ。親が貧しくて子どもだけが豊かだったり、その逆もまた考えにくい。子どもの貧困は、家庭の状況と密接に結び付いていることから、親の経済状況や就労状況、子どもとの関わり方などについて聞いており、対象とした子どもは中学生に限定されている。 経済的な状況については、世帯全員の年間収入（税込

総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開　性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS

みなさん、初めまして、お久しぶりです、こんにちは。 フューチャーアーキテクト2018年新卒入社、1年目エンジニアのTIG（Technology Innovation Group）所属の澤田周吾です。大学では機械航空工学を専攻しており、学生時代のインターンなどがキッカケで入社を決意しました。 実は、本記事でフューチャーテックブログの2記事目となります。インターン時代も ジャガイモARの記事 を書かせて頂きました。入社してからもこうして業務で学んだIT技術を記事に書くという機会を貰え、なんだか懐かしいやら感慨深いやらの思いで一杯です。 さて、3ヶ月の新人研修後にすぐに配属されたプロジェクトで、AWSを使ったビックデータ分析のための基盤構築をお手伝いしています。わたしは分析のための前処理であるETL（Extract、Transform、Load）処理部分をちょっと変わった性格の先輩方と一緒に開発

https://www.nhk.jp/p/special/ts/2NY2QQLPM3/blog/bl/pneAjJR3gn/bp/pEk4QL80Zp/?cid=nsphk-tvqc-210912-01 「MEGAQUAKE巨大地震 2021」もっと詳しい番組まとめ記事はこちら 「MEGAQUAKE巨大地震 2021」番組情報はこちら ＮＨＫスペシャル「MEGAQUAKE巨大地震 2021」（2021年9月12日放送）では、地震や津波から命や社会を守るための科学や技術の最前線を取材。その中で、「①次の直下型地震はどこで起きるのか？」「②大地震で揺れやすいのはどこか？」という疑問に迫る最新の研究成果を、とくに詳しくお伝えします。 【①次の直下型地震はどこで？最新研究が示すリスク】 「３．１１以前の状況とは全く異なる、未知の日本列島。私たちはその世界に足を踏み入れた」 科学者がそう語った巨大地

はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoDB からデータ抽出 社外の API からデータ抽出 Transform workspace に配置されたデータの変換 データ生成元 AWS アカウント内の生ログ変換 ウェアハウス内での加工 Share 今後の課題 開発の一部を他チームへの委譲 データ異常検知 BI ツールの導入 はじめに DRE チームの hyamamoto です。 新卒の方々が入社されて 4 ヶ月ということで、時の流れの速さを感じています*1。なお、現在、新卒の方々でリレー方式でブログを書いて

2021/6/11 #InfraStudy 2nd Season

VOYAGE GROUP Zucks DSPレポーティング基盤をどのようにして作ったかの話。 https://pages.awscloud.com/JAPAN-event-OE-20210624-AnalyticsModernization-reg-event.html ディメンションモデリング…

この度、当社が提供する恋活・婚活マッチングアプリ「Omiai」を管理するサーバーに対し、外部からの不正アクセスを受け、会員様情報の一部が流出した可能性が高い事が判明しました。 本件に関して、現時点で判明している概要と対応につきまして、下記の通りご報告いたしますとともに、会員様および関係各位の皆様にご心配、ご迷惑をおかけすることとなり、深くお詫び申し上げます。なお、現時点におきまして、今回の事案に関わる個人情報の不正流用等の事実は確認されておりません。 今後当社は、会員様情報の不正流用の発生防止に努めるとともに、本件に誠意を持って全力で対応させていただく所存でございます。皆様にご心配をおかけすることを重ねてお詫び申し上げます。 今回の対象のお客様におかれましては、万が一身に覚えのない連絡や、心当たりのないコンタクトがあった場合、念のためご注意をお願いいたします。また、何かお気づきの点がござい

―― 今のチーム課題と課題解決に向けた取り組みを教えてください。 Wang：私たちのチームでは、主に3つの課題について取り組みを進めています。 まずは1つ目の課題は「マルチテナントのクラスターの運用」についてです。 Hadoopは一般的に、有数のユーザと予測可能なワークロードで運用されていますが、LINEのData OpenによってDAUが700人弱であり、且つワークロードも10万+/日となっています。Isolationがまだ完備されていないので、ユーザ間にリソースの競合が発生している状況です。 2つ目は「Data catalog」についてです。ユーザが自由にデータを生成したり利用したりする環境においては、データのカタログがとても重要です。そのため、Data Lineageを自動的に生成する仕組みが必要となってきます。 そして「大規模のインフラを効率よく運用すること」も私たちの課題です。私

PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ

こんにちは、Retty.Inc ソフトウェアエンジニア兼データサイエンティストのchie（@chie8842）です。 好きなたべものは焼肉とみかんです。 現在Rettyでは、次世代分析基盤を構築しています。Rettyでは、サービス拡大に伴いログの急増や分析需要の拡大が見込まれるため、高いスループットとコストパフォーマンスを両立する、スケールするアーキテクチャ設計が求められています。 今回は、こうしたスケールするアーキテクチャ設計の実現のために理解しておくべきDWHのコア技術の一つである、カラムナフォーマットに焦点を当てて紹介します。 はじめに - カラムナフォーマットとは カラムナフォーマットとは、データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくで

Presented by: Tomoki Nishinaka, Yu Zhouxun PayPayの機能の一つとして2020年4月に新たにリリースされた通知サービスでは、スケーラビリティとパフォーマンスを重視し、数々のデータストアソリューションの中からDynamoDBを採用しました。通知センターの…