カリフォルニア大学サンディエゴ校（ＵＣＳＤ）でコンピューターサイエンスを教えるニーマ・モシリ教授は先週、自宅でテレビを見ていたところ、カナダのウイルス学者から電話がかかってきた。パニック気味の声で伝えられたのは、今すぐ米疾病対策センター（ＣＤＣ）のウェブサイトをバックアップしろという警告だった。 近く修正や編集が加えられる、あるいは削除される可能性があるデータを集めては保存する作業を、モシリ氏はほぼ夜通しで続けた。翌朝になると、心配していたことは現実となった。重要な調査結果やデータはＣＤＣのウェブサイトから消えていた。他の重要データベースにも削除の危機が迫っていると考えた同氏は、米食品医薬品局（ＦＤＡ）のスナップショットを撮って保存した。今は農務省のデータをアーカイブに収める作業に取りかかっている。 トランプ米大統領が出した大統領令は、ジェンダーに関する表現から科学研究の発表に至るまで、あ

「日本人の読み書き能力は世界トップクラス」という調査結果がありましたが、日本人の識字率が高いって本当ですか？ 回答は「分からない」です。現在の日本人の識字率を科学的に調査したデータはありません。過去には1948年の調査があります。しかし、以下に述べる理由から、日本人の識字率が高いのか低いのかはまだ分かっていません。 GHQ提案による1948年の識字率調査 1948年の調査は、第二次世界大戦後の連合国軍の占領政策のもとGHQの「提案」によって、日本側が組織的に動いて実施されたものです。得られた結果は「日本人の読み書き能力は極めて高く世界トップクラス」という「常識」の科学的根拠だとされてきましたが、最近の研究で新しい事実が明らかになりました。 この調査は「代表性を有するデータ」を収集する方法論を開拓したうえで、全国規模で実査をおこないました。その学術的価値は極めて高いと諸学界から評価されていま

データから「最も愛してくれているお客様」を特定して売上高が10倍に成長。高級宿泊予約サイトの「一休.com」に聞く、データドリブンなプロダクト運営と顧客を絞る理由。 一休さんを取材しました。 株式会社一休 代表取締役社長 榊 淳さん、チーフディレクター 土屋 美佐子さん。⸺「一休.com」について教えてください。榊： 一休.comは「こころに贅沢させよう。」をコンセプトに掲げて、2000年に運営を開始した、高級ホテル・旅館の予約サイトです。 会社としては、消費者ニーズを捉えた事業を通して、世の中に「こころに贅沢」な時間を増やすことを目指しています。 例えば、プレミアムグルメの予約サイト「一休.comレストラン」や、贅沢体験をお届けする「一休.comスパ」など、様々なサービスを展開しています。 2012年から「データドリブン経営」を軸に、約10年で売上高が10倍以上に成長した。2024年3月

政府日銀が参照している統計データ（）だと、2%のインフレは達成してるか微妙みたいだけど、実感として物価はとても高くなっていると思う。 ちなみに、年2%のインフレが20年続くと1.5倍になる。 2%のインフレというとあまり変わらない気がするけど、1.5倍と言われると高くなったなーと感じる人は多いと思う。 それに、実際のところそれ以上に高くなっているものもたくさんある。 そんなインフレの優等生をあげてみる。 住宅価格特にマンション価格は高騰しているよね。ただ、この高騰は物価指数には反映されていない部分がある。 というのも、築年数が経過すると安くなるのものだが、統計ではそれを反映していないから。 参考: https://www.stat.go.jp/training/2kenkyu/ihou/79/pdf/2-2-796.pdf 建物の経年に伴う品質や調査価格の低下は消費者物価指数に下方バイアス

列をつくって地下鉄を待つ通勤客＝３日、東京/Stanislav Kogiku/SOPA Images/LightRocket/Getty Images 東京（ＣＮＮ） 日本の若者の１０人に１人が電車の中や公共の場で「痴漢行為」の被害に遭っていることがわかった。内閣府の調査で明らかになった。被害者の大部分は女性。今回の調査によって、国による対策が行われているものの、日本を長く悩ませ、報告されることの少ない犯罪の実態が浮き彫りになった。 全国的な調査は２月に１６歳から２９歳の３万６０００人余りを対象に行われた。これによれば、１０．５％が痴漢の被害に遭ったと回答した。 今月発表された調査結果によれば、被害者の９割近くが女性。電車内で被害を受けたと回答した人の割合は約３分の２だった。 回答者の多くが複数回の被害を報告しており、中には高校在学時に「ほとんど毎日」被害を受けたと回答した人もいた。 痴漢

米国でミドルクラス（中間所得者層）とされる市民のほぼ３分の２が、経済的苦境に直面しており、これからの人生に変化は期待できないと考えている。全米トゥルー・コスト・オブ・リビング連合が委託した世論調査で分かった。 多くの米指標では、米経済の力強さが示されている。労働・住宅・株式市場が堅調で、国内総生産（ＧＤＰ）も着実に伸びている。だが、こうしたデータは、将来を心配し、貯蓄をすることができない何百万もの世帯の経済的不安を捉えていない。 シンクタンクのアーバン・インスティテュートが成人2500人を対象に行った世論調査によると、４人家族で少なくとも年収６万ドル（約935万円）と、しばしばミドルクラスと見なされる人々の65％が、経済的に苦しいと回答した。 高所得の米国人でものかなりの割合が、経済的不安を感じている。連邦政府が定める貧困水準（ＦＬＰ）の５倍以上、つまり４人家族で15万ドル余りの年収を得て

3日は、日本国憲法の施行から77年となる憲法記念日です。NHKの世論調査で今の憲法を改正する必要があると思うかどうか聞いたところ、「改正する必要があると思う」は36％、「改正する必要はないと思う」は19％、「どちらともいえない」が41％でした。 《調査概要》 NHKは、先月5日から3日間、全国の18歳以上を対象にコンピューターで無作為に発生させた固定電話と携帯電話の番号に電話をかけるRDDという方法で世論調査を行いました。 調査の対象になったのは、3129人で、49％にあたる1534人から回答を得ました。

文部科学省が10月4日に発表した調査で、不登校の理由が「いじめ」という小中学生の割合は、不登校全体の0.3％だった。この結果について有識者や支援団体は「実態と懸け離れている」と指摘。学校への調査だけでなく「当事者である児童生徒に直接聞くなど調査方法の見直しを」と訴える。（榎本哲也）

少子化対策の重要な指標の一つ「合計特殊出生率」の公表値が、実態より過大であることが分かった。基となる厚生労働省の統計の対象が「日本における日本人」で、外国人の女性は計算に入らないのに、国際結婚で生まれた日本人の子は入っているためだ。外国人の人口が増加傾向にある中、多様性を増す時代の変化を統計が反映できなくなっている。（原田晋也） 合計特殊出生率　1人の女性が一生の間に産むと想定される子どもの数。ある年齢の女性が1年間に産んだ子の数を分子に、その年齢の女性の人口を分母にして年齢別出生率を出し、15～49歳分を足し上げて算出する。人口推計や少子化対策で重視される指標で、国際比較にも使われる。

今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP

中国は人口統計の数値を捏造していると指摘されており、異議を唱える者は取り締まりの対象となってきた。そのため同国が「公式」としている人口に関しては、さまざまな議論がある。 そんななか、中国の公安当局が管理する10億人分の個人情報が流出した可能性があると7月に報じられた。氏名や住所、犯罪歴、病歴記録までが含まれており、史上最大規模の情報流出とされている。 著名な人口学者である易富賢によれば、この事件によって漏洩した情報が中国の「数値捏造」を裏付けているという。 人口減少を頑なに認めない 中国政府公認の人口統計数値が意図的にかさ増しされていることなど、誰もが知っていることだ。にもかかわらず、当局はこれらのデータに疑義を呈する者たちを次々と弾圧している。 たとえば拙著『大國空巣』は、2007年の出版直後に発禁となった。同書が中国の一人っ子政策への懸念を表明し、人口の減少が始まるのが、中国当局と国連

","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"

建設業の受注実態を表す国の基幹統計の調査で、国土交通省が建設業者から提出された受注実績のデータを無断で書き換えていたことがわかった。回収を担う都道府県に書き換えさせるなどし、公表した統計には同じ業者の受注実績を「二重計上」したものが含まれていた。建設業の受注状況が8年前から実態より過大になっており、統計法違反に当たる恐れがある。 この統計は「建設工事受注動態統計」で、建設業者が公的機関や民間から受注した工事実績を集計したもの。2020年度は総額79兆5988億円。国内総生産（GDP）の算出に使われ、国交省の担当者は「理論上、上ぶれしていた可能性がある」としている。さらに、月例経済報告や中小企業支援などの基礎資料にもなっている。調査は、全国の業者から約1万2千社を抽出し、受注実績の報告を国交省が毎月受けて集計、公表する。 国交省によると、書き換えていたのは、業者が受注実績を毎月記し、提出する

IMF＝国際通貨基金のトップ、ゲオルギエワ専務理事らが、世界銀行の幹部だった際、中国の意向を受けてビジネス環境を評価する国別ランキングの中国の順位を本来よりも不正に引き上げていたとされる問題が波紋を広げています。 IMFもこの問題を調査していて、その結果が注目されています。 世界銀行は先月16日、各国のビジネス環境を毎年ランキング化する報告書の過去の数字が不正に操作されていたとして、今後、発行を取りやめると発表しました。 2018年版の報告書を作成する際、世界銀行の当時のキム総裁や現在IMFの専務理事を務めるゲオルギエワCEOが、中国の政府高官から自国の順位が低いと何度も不満を示されていたということです。 そして、ゲオルギエワ氏らが分析の担当者に圧力をかけた結果、報告書では、中国の順位が本来の85位から前年並みの78位に不正に引き上げられたとしています。 背景として、世界銀行が各国に出資金

100人あたりの１日ワクチン接種数の国際比較。 https://t.co/eFqi7gmJRt

４回目の緊急事態宣言が発令されている東京都で、都民が外出を控える程度を示す「自粛率」が、東京五輪の開幕後に上昇し、自粛傾向がみられることが、読売新聞と国立情報学研究所の水野貴之准教授（計算社会科学）の分析でわかった。「ステイホーム観戦」が進んでいた可能性がある。ただ、今年１月に比べると自粛の程度は低く、「緩み」が懸念される。 【図表】ファイザー製ワクチンの副反応、予想以上に年代間で差 自粛率は、コロナ流行前の昨年１月と比べて「住宅街の住民がどのくらい外出を控えているか」を数値化したもの。携帯電話の位置情報から滞在人口を推計するNTTドコモの「モバイル空間統計」のデータを利用して算出した。

4月28日、フィナンシャルタイムス紙が「中国政府は50年ぶりに人口が減少したと公表する準備」というスクープを報じた。「2019年に14億人を超えたとされた総人口が、2020年には14億人を下回る結果になった」というのだ。誰もが「遠からず人口が減少に転ずる」と感じていたはずだが、その日が2020年に来ていたとは！！･･･ FT紙は、この報せが中国に及ぼすであろう衝撃の大きさを報じた。 すると翌29日、国家統計局が「2020年も人口は増加を続けた」と発表した。見てのとおり、わずか1行の発表･･･。 人口統計の発表は、元来4月中と予告されていたのに、それを延期した上で、この発表である。ほんとうに「人口が増加した」のなら、社会に衝撃を与えることもないのだから、さっさと発表すればよい。 ◇◇◇◇◇◇◇◇ このドタバタ騒ぎを知って、2010年の国勢調査結果が発表されたときのことを思い出した。 このとき

厚生労働省が賃金統計で短時間労働者の賃金を集計する際、２０２０年分から時給が高い大学教授や医師らを加えたのに、統計法で義務付けられた総務相への変更申請をしていなかったことが分かった。高給の職種を加えたことで平均の時給は前年比２３％上昇。総務相が専門家の意見を聴くため諮問する統計委員会の審議も経ておらず、変更の手続きや意図の説明責任が問われる。　（渥美龍太） この統計は「賃金構造基本統計調査」と呼ばれ、重要度が高い国の基幹統計。厚労省は調査や集計の方法を２０年分から大幅に変更することを決め、先月末に結果を初公表していた。集計対象の約３割を占める短時間労働者は、主にパートなどの非正規労働者で、一部に正社員も含む。 これまでは時給３０００円超の医師や塾講師らを除く平均時給を算出。今回から厚労省は、短時間労働者の多様な働き方を反映するには全体像の把握が必要だとし、全てを含む「全体集計」に変更した。

ツイッターであまり拡散されてはいなかったものの民主党政権時は自殺数が多かったというツイートを見て、中には「毎日人身事故で電車が止まっていた日々を覚えていないのか」みたいなことまで書いてあったので、民主党政権時やその前の時分の自殺数についての話を。ただ細かい話に入る前にですが、毎日人身事故で電車が止まっていた記憶までは流石にない*1。 自殺数の推移について 自殺者数については警察庁HPから確認可能です。そして1978年から2019年までの自殺者数の推移は以下の通り。 民主党政権は2009年（H21）の9月から。グラフを見ればわかる様に民主党政権とその後の自民党安倍政権とを比較すれば民主党政権は自殺者数が相対的に高いものの民主党政権前の自民党政権時の方から数値は安定しており、多さで言うならば2003年が一番高い数字になります。そして民主党政権の2009年から自殺数が減少に転じます。民主党政権時