このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 イスラエルのBen-Gurion University of the Negevに所属する研究者が発表した論文「RAMBO: Leaking Secrets from Air-Gap Computers by Spelling Covert Radio Signals from Computer RAM」は、インターネットに接続していないコンピュータ（エアギャップPC）から機密情報を漏えいさせる新たなサイドチャネル攻撃手法を提案した研究報告である。 「RAMBO」と呼ぶこの攻撃は、物理的に隔離したコンピュータのRAM（Random Access Mem

国交省推進する「都市計画情報のデジタル化・オープン化」 都市計画とは、都市計画法に基づいて自治体が策定する街づくりのプランのことだ。土地利用（用途地域、地区計画など）や都市施設（道路、公園など）、市街地開発事業（土地区画整理など）に関する計画を総合的に定め、住民が住みやすく、働きやすい都市を目指す。 街づくりは行政のトップダウンですべてがうまくいくような簡単なものではなく、実現には民間事業者の理解と協力が欠かせない。そこで、自治体が都市計画を対外公表することで、事業者側がそこにビジネス機会を見いだし、街ごとのエコシステムが形成されていくことが期待される。 ただ、これまで都市計画のフォーマットは自治体によってバラツキがあり、事業者側にとって街ごとの特性や強みを比較しにくい状況があった。 都市計画のデータ化は以前から少しずつ進められてきた。国交省はすでに2005年には「都市計画GIS導入ガイダ

初めて使ったBIツールはLooker Studioのid:syou6162です。これまでTableau / Looker(≠ Looker Studio) / Metabase / Redash / Connected Sheetsなど色々なBIツールを触ってきましたが、不満は色々ありつつも個人的に一番しっくりきて愛着があるのはLooker Studioです。このエントリでは、その魅力と便利な使い方や注意点について書きます。例によって、社内勉強会向けの内容を外向けに公開しているため、内容の網羅性などは特に担保していないことにご注意ください。 Looker Studioの魅力 利用のハードルが限りなく低い & Google Workspaceとの連携が便利 複雑過ぎることができないので、諦めが付けやすい ちゃんとBIツールになっている Looker Studioの便利な使い方 多様なデータソ

分析に使用されたのは過去にGame*Sparkでも紹介した「ゲーマー動機プロフィール（Gamer Motivation Profile）」診断。85万人のデータを元にゲームプレイのモチベーションをアクション、社会性、熟達、達成、没入、創造性の6つに大きく分類し、更にそれぞれについて2つの下位分類に分けられるとした物です。 公開されたこの診断は2015年6月から2024年4月まで、170万人のゲーマーによる回答を集めたとのこと。その中から、あまりにも例外的であった中国からの回答を除外した157万人分のデータを元に、今回ゲーマーによるモチベーションがどのような変遷を辿ったのかを分析したのだといいます。ちなみにQuantic Foundryは中国のデータが例外的であった原因を、ゲーム業界の発展が歴史的に孤立していたためではないかと考察しています。 分析の結果では、多くのモチベーション傾向について

棒グラフと折れ線グラフは似た表現方法です。しばしば交換可能なものとして使われる両者ですが、使うべきポイントには違いもあります。 代表的な例が気温です。気温は棒グラフではなく、折れ線グラフで表現するのが正しいです。 そもそも棒グラフは、棒の長さ（≒ 棒部分の面積）の比率と数値の比率を対応させることで視覚的に数値を比較するものです。したがって、数値が2倍なら棒グラフの長さも2倍になります。棒グラフにおいて、縦軸を省略してはいけないのはそのためです。 しかし、気温において「X倍」に意味はありません。気温が10℃から20℃に上がっても「10℃上がった」とは言いますが「2倍の暑さになった」とは言いませんよね。気温とは、水が凍る温度を0℃、水が沸騰する温度を100℃とする相対的な指標です。気温がマイナスになることはしばしばありますが、これは本当に何かがマイナスになっている、失われているのではなく、水が

まえがき Web上で広く利用されるPNG(Portable Network Graphics)フォーマットは、デジタル画像を変化させずに小さいデータサイズへ変換する圧縮技術の一種です。PNGフォーマットはオリジナル画像を完全復元可能な可逆(lossless)圧縮ですから、JPEGフォーマットのように画像を歪めてしまう非可逆(lossy)圧縮ほどは小さくできません。それでもオリジナルのデジタル画像データの半分程度まではサイズ削減可能な画像圧縮アルゴリズムと言われています。[1] そげぶ いいぜ　てめえが何でも思い通りに圧縮出来るってなら まずはそのふざけた幻想をぶち壊す!! （スペース都合によりAA省略） 本記事では、PNGフォーマットを画像データ圧縮(compress)用途で利用するのではなく、オリジナル画像データよりも遥かに巨大なPNGファイル を生成します。 PNGフォーマットでは任意

いや、お前データを守る側ちゃうんか。 なんでお前に大事なデータ消されなきゃならんのよ。 調べてみたらひどいクソ仕様だったので、同じ轍ふまないように知見共有します。 なお、消えてしまったデータは息子の卒業式の動画データ。復元不能。 ダメージでかすぎで立ち直れないかもしれない。 リテラシーの話にしたくないので、一応くわしい状況を説明。 興味ない人は読み飛ばしOK ストレージは壊れるものという前提は理解しているつもりなので、状況ごとにいくつかのバックアップ体制は取ってある。 なのでデスクトップは基本的に一時的なデータしか置かない。 そのため、今回の被害は本当に息子の卒業式の動画データだけ。 安くなったとは言えすべてのストレージをSSD化するには至っていない。 そのため、OSやソフトウェアなんかはSSDにインストール、写真や動画などのサイズがでかいデータはRaid HDDでミラーリングして格納する

総務省は10月4日、無料のオンライン講座「社会人のためのデータサイエンス演習」をリニューアルして開講した。AI技術などの最新動向を踏まえ、一部を改訂した。開講期間は12月13日まで。 2016年の開講からのべ5万7000人が受講した講座。データサイエンスに携わる専門家や大学教授が、データサイエンスを基礎から教える。 MOOC講座プラットフォーム「gacco」で、1回10分程度の講座を5～7回で提供。さらに、補講・演習（10分程度×11回）もある。 リニューアルで最新トピックスを追加したほか、仮説検定や統計解析ソフトを使ったデータ分析方法を紹介するなど、内容を一部刷新した。 登録すれば誰でも無料で受講できる。受講登録は12月5日まで。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデ

従来のGoogleアナリティクスである、ユニバーサル アナリティクス（以下UA）のサポートがいよいよ2023年7月に終了することが、先日アナウンスされました（※）。昨年対比やトレンドをチェックすることを考えると、2022年内できるだけ早めに次世代のGoogleアナリティクス（以下GA4）へ移行したいWebメディア運営者も多いかと思います。新しいツールの勉強や、既存システムの改修が必要な問題ではありますが、この機会を、データ収集・可視化の設計を見直し、日々の意思決定の共通言語としてデータを使いやすくするチャンスと捉えてみてはいかがでしょうか。 ※  Google、ユニバーサルアナリティクスのサポートを2023年7月1日に終了。早めのGA4移行を推奨 このnoteでは、前半でダッシュボードによるデータの可視化にコストをかけるべき理由を整理します。後半では、2021年秋に文春オンラインのダッシュ

Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概

総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開　性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS

月間ページビュー(PV)が500万PVあり、データ転送量も80TBあるという人気ウェブサイトを400ドル(約4万6000円)以下で維持する方法を、3Dのアセットライブラリを一般公開しているPoly Havenがまとめています。 How we handle 80TB and 5M page views a month for under $400 – Poly Haven Blog https://blog.polyhaven.com/how-we-handle-80tb-and-5m-page-views-a-month-for-under-400/ ウェブサイト運営のポイントの1つは「資金リソースをどう管理するか」です。資金があればAmazon S3のようなクラウドプラットフォームを利用するのが簡単ですが、データ転送量が月間80TBもあるPoly HavenのようなウェブサイトでAmaz

派遣に限らず勝手にマクロ化すな。 やるとしても「一時的なデータ整理の助っ人要員」みたいな、「その場限りで基本的にその仕事が継続しない」案件だけにせぇ。 データが永久に同じ形式で来るわけでもなければ例外が来ないわけでもねぇ。 その場合に、エクセル先生が勝手に書いたマクロのメンテナンスは誰がするんじゃ。 永久にお前がそこにおるわけじゃねぇんじゃ。 俺がマクロ化して効率化してやったのにとかアホみたいなドヤ顔するボケに限ってまともにコメントも書かんし、 コーディングのルールも統一されとらんし、なんなら意味もわからんままサイトからのコピペしとるから必要のない処理までいれよる。 視認性が冬の日本海なんじゃ。 もう余計なことはせんともくもくと算盤はじいとけぃ。 どうしてもドヤ顔プログラミングしたいならソフトハウスにでも転職せぇ。 勝手にマクロ化すな。

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口（e-Stat）」で本日から１２月１日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020

画像は『滋賀大学「大学生のためのデータサイエンス（Ⅱ）」講座PV～ gacco：無料で学べる大学講座』より オンライン講座サイト「gacco（ガッコ）」では11月16日から、滋賀大学データサイエンス学部による「なるべく数式を使わない」という方針で構成した「大学生のためのデータサイエンス（Ⅱ）」が開講される。受講料は無料。 本講座では、機械学習の諸手法とその応用について説明する。まず「機械学習とは何か？」という説明から始め、その後に機械学習の応用事例を紹介。応用事例を先に見ることによって、機械学習の有用性が理解でき、機械学習の手法をより積極的に学べるとしている。 次に、分類問題と回帰問題の具体的な手法を説明し、同時に特徴量の設計・選択など、実践的なテクニックについても紹介する。最後に、近年、発展の著しいニューラルネットワークについても説明してくれる。また、本講座は、機械学習の分野のなかでも教

ポンポコ秋くんは呟きたい☆ @PNPK4649 今まで読んでくださった読者の皆さんへ。 突然ですが、現在連載していました【ロストファミリア・無限世界は人と悪魔の決闘輪廻】を含めた全ての作品や作者ベージは退会によってもうありません。 最初に言うならば、これらは全て僕の盲目さと人間性の結果です。 下に退会までの経緯を書きます。↓ 2020-11-14 22:02:42 ポンポコ秋くんは呟きたい☆ @PNPK4649 僕を含めたお知り合いの方4人でとある飲食店さんにお邪魔していた時でした。 僕と対面して座るお知り合いさんが僕の書いている小説に興味を持ってくださって作者画面を見せて欲しいと言われログインして自分の今書いている好きな小説(ロストファミリア)や、 2020-11-14 22:02:42 ポンポコ秋くんは呟きたい☆ @PNPK4649 下手ながらも過去に書いた作品のお話をしているうちに、

画像は『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 総務省は9月29日から、実践的なデータ分析の手法を学習できるとうたう、データサイエンス・オンライン講座「社会人のためのデータサイエンス演習（外部サイト）」を開講している。登録料および受講料は無料。閉講日時は12月7日の23時59分。 本講座では、ビジネスや行政での活用を想定しており、社会人や大学生に向けて、ビジネスや業務上での分析事例を中心に実践的なデータ分析（統計分析）の手法をわかりやすく解説するという。前提条件は表計算ソフトMicrosoft Excelの基本的な操作ができること。 『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 講師は、総務省統計局の會田雅人氏、総務省統計局の阿向泰二郎氏、株式会社電通の佐伯諭氏、東京大学の松尾豊氏、株式会社ブレインパッドの奥園朋実氏、株式会社ブレインパッドの