Twitterから離れるにあたり念の為データをバックアップしました。（方法）せっかく過去の全てのツイートのデータを取得できたのでCode Interpreterに入れてどんな人物か推定させてみました。 面白半分に分析を始めましたが思ってた以上に推測されてだんだん怖くなっていったという記録です。 読み込み もうこれぐらいでは驚きませんがアップロードしたら余分な行を削除してJSONだけを取り出して読み込みました。 分析内容を提案してもらう 分析内容を考えるなんて人間のすることではありません。考えてもらいます。 年別の時間帯別の投稿数 2013年に起業したのでツイートが減り、2019年に会社をやめたのでツイート数が増えています。2020年は学校に通っていたのでツイート数が増え、2021年にまた起業したのでツイートが減っています。 2017年は子会社社長として働いていたのでツイート数が特に減ってい

先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

調査の「聞き方」「答え方」がデータに与える影響（大阪大学大学院人間科学研究科教授：三浦麻子） #その心理学ホント？ 心理学が使用する代表的な方法の一つが調査法です。多くのデータが得られやすい，実施や集計が容易といった強みを持つ一方，弱みもあります。今回は，調査の「聞き方」，「答え方」によって得られるデータがどのような影響を受けるのかについて，三浦麻子先生にご解説いただきました。 心理学では「心」にまつわる構成概念を測定するために様々な手法を用いますが，そのうち，調査者の問いかけに対象者が主観（自らの気持ちや考え，経験など）を答えるのが調査です．調査では，呈示した質問に対して，あらかじめ用意した数値や選択肢から当てはまるものを選ばせる形で回答を求めることがよくあり，同じ形式で得られたデータですから，たくさんあっても集計・分析するのが容易です．心理学以外の領域でもよく用いられていて，学生の卒論

今なお、アメリカをひっくり返す力を持っているのか、Qアノンの暴走によって命脈を絶たれつつあるのか…ドナルド・トランプをめぐる勢力図はイマイチ外国からはわかりづらい。 まあそれが現在進行形であれ過去の話であれ、トランプ支持者の実態をルポした金成隆一・朝日新聞記者の 「ルポ　トランプ王国」 ルポ トランプ王国――もう一つのアメリカを行く (岩波新書) 作者:金成 隆一岩波書店Amazon 「記者　ラストベルトに住む」 記者、ラストベルトに住む　トランプ王国、冷めぬ熱狂 作者:金成　隆一朝日新聞出版Amazon 両方のルポとも大変面白く、貴重なジャーナリズムの記録となっている。 関連の紹介記事を何度か書いた。 togetter.com 「テレビに映るカリフォルニア、ニューヨーク、ワシントンは、オレたちとは違う。あれは 偽のアメリカだ。ルイ・ヴィトンのカバン? サックス・フィフス・アベニュー(ニュ

【内容】 ○「年齢別の男女の主導権」「強姦／和姦とストーリー要素」「ストーリーパターン、ヒロイン性格・属性、主導権・動機・セリフの数量化分析」等々 ○数字から分析を引き出す構成など 【掲載画像所載】 続きを読む

NHKのニュースや番組をつくっている私たちが取材に込めた思いや取材手法などをお話します。一緒に「取材ノート」をつくっていきましょう。サイトはhttps://www.nhk.or.jp/d-navi/note/ 利用規約はhttps://nhk.jp/rules

NHKのニュースや番組をつくっている私たちが取材に込めた思いや取材手法などをお話します。一緒に「取材ノート」をつくっていきましょう。サイトはhttps://www.nhk.or.jp/d-navi/note/ 利用規約はhttps://nhk.jp/rules

Excel医@『人生を変える Excelの神スキル』大発売！ @Excel_design_Dr 総務省「あかん！みんなExcel使いこなせてなさ過ぎて生産性悪すぎや。働き方改革とかDXの前にデータ入力の基礎がわかっとらん。ルール作るから見て～」 👆ってことで作ってくれました。Excel使う人は全員見て👇 全国民に配るべき！総務省が示した「データ入力の統一ルール」excel-design-dr.com/date-entry-rul… pic.twitter.com/h7kG1dNztR

こう言い換えろ→論文に死んでも書いてはいけない言葉３０ 読書猿Classic: between / beyond readers を書いたとき、「あとは穴埋めしたら論文を出力してるものが作れないか」みたいな話があったので、作ってみた。 何であれ、文章を書く骨法は、書きたいことではなく、書くべきことを（そしてそれだけを）書くことである。 問題は何を書くべきかであるが、幸いにして、論文については後述するようにほとんど決まっている。 結論から言えば、以下の表を埋めていくだけで、論文の骨組みができあがる。 必要な項目は揃い、しかるべき順序で並ぶ。 論文穴埋めシート こんな簡単な穴埋め表がこれまであまり取り上げられなかったのは、わざわざ作るまでもないことも勿論あるが、その他にも次のような理由がある。 つまり、こうした穴埋め表が、 あなたは論文が書けないのではない。 研究ができないのだ。 という目の当

本記事は、ShakuroのRita Kind-Envy氏による「UI/UX Design Trends Of 2022 You Need To Catch Up To」（2021年11月15日公開）の和訳を、著者の許可を得て掲載しているものです。 はじめに 2021年は2020年よりも良い年でしたか？UI/UXデザインに限って言えば、そうです。新しい素晴らしいウェブサイトやアプリが生まれ、グラフィックデザイナー向けの新しいソフトウェアがリリースされ、創造性が泉のように湧き出ているようでした。 デザイナーが在宅を余儀なくされると、より多くのものを生み出し、すでに存在するものについて考える時間ができます。退屈はアーティストの最大の敵で、その解消のために努力します。 世界の他の分野では、2021年は非常に困難な年でした。世界最年長の猫は34歳の誕生日を迎えました。うーん、そう、良かったのはそれだ

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入

2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口（e-Stat）」で本日から１２月１日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020

最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを

Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。 そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるかもしれないので、私が考えたことや感じたことをメモ書きとして残しておきます。 在宅勤務と就業可能な地域 Web上でのアウトプット データエンジニアという職種の多様性 転職にあたって重視したこと 魅力に感じた点 当然、不安もある 在宅勤務と就業可能な地域 カジュアル面談させてもらった企業さんは、ほぼ在宅勤務に移行済みだった 隔週や月一で物理出社という会社も半々くらい? 緊急自体宣言が出ていない時期(夏〜秋)にカジュアル面談させてもらったので、今は状況が違うかも カジュアル面談、採用面談もz

祖父江 慎（そぶえ しん） @sobsin 世界中の全人類ほぼ全員が同時におだやかな睡眠をとってる時間が訪れることってないんだろうな。一番多い%が眠りについてた瞬間って長い歴史の中のいつだったのかな Ken Kawamoto（ガリのほう） @kenkawakenkenke これとても面白い疑問だと思ったので、手持ちのデータで簡単に計算してみたら驚きの結果になった。ざっくり「人は現地時間の22時から6時の間寝てる」と仮定した場合、日本時間の8時に世界の86%が寝ているという結果に。逆に22時には3%しか寝ていない。極端すぎて少し計算結果に自信ない！ twitter.com/sobsin/status/… pic.twitter.com/smzzmOr2OT

JSer.infoは2011年1月16日に公開したJavaScriptの情報サイトで、2021年1月16日で公開してからちょうど10年です。 JSer.infoでは、10年間で10201サイト紹介し、522コの記事書いてきました。 JSer.infoの紹介したサイト数(累計)。ソース 10年間途切れることなく毎週更新していて、月別の記事数は毎年同じ推移です。 JSer.infoの月別の記事数。ソース この記事では、10年間やってきたJSer.infoの目的を振り返り、 JavaScriptの情報の集め方、書き方、まとめ方について書いていきたいと思います。 ⚠️ すべてを書いているのでものすごく長いです。 この記事やJSer.infoに関する意見や感想などは、次の場所に書いてください。 この記事をTweetする Twitter: #jserinfo GitHub Issue: JSer.in

闇の魔術に対する防衛術 Advent Calendar 2020の三日目 はじめに データの可視化は非常に難しい。 まずデータの抽出が難しい ・データソースごとの整合性が取れているか ・取得したデータとソースデータに欠損が生じていないか ・SQL文を実行したサマリの結果が部分的に抜け落ちていないか。 その確認は時間的にも精神的にも苦痛。 しかし、苦労して抽出したデータも使い方で全くの無駄になる その例として「可視化や統計」部分に着目してお話をしようと考えた。 データの背景を知らない人には、データ可視化が歩み寄る手段になるし、伝えたい事をインパクトを伴って伝えられるなど非常にメリットである。 ※ただし 「可視化」の使い方によっては誤った理解をさせることも可能。 伝えたい事だけを正しいように見せる方法もあり、 可視化に詳しくない人に誤解を与えて自分の主張を通すこともできるかもしれない。 これは