この文章はプログラマじゃない人向けに JSON を知ってもらうメリット、とくにAIとの効率的な対話方法を説明し、そしてあわよくばプログラマとも JSON の水準で会話してもらえたら嬉しい…というものです。 あなたは誰 UI を作るのが専門のエンジニアです。 エンジニア以外が使うノーコードのエディタを作ったりしてました プログラマじゃない人が JSON を知る利点 プログラマとして、プログラマじゃない人向けのノーコードなどを作っていたんですが、わかったことがあります。それは、「抽象的なロジックを記述するには訓練が必要だが、眼の前のデータとUIに対応したものは簡単に変更・記述できる」ということです。 自分の考える、もっとも成功したノーコードエディタこと Google Form JSON はよく知られているデータを記述する方法の一つです。特定の言語などとは関係ありません。 で、今現在 JSON

定期的に見かけるSAPを入れても碌なことがないみたいなやつ。現場の人や中間管理職の感想としては全く正しいが、本当にERPがゴミならば（主にグローバル大企業で）これだけ普及しているわけもないわけで、なにかしら使う側に問題があるのかもしれません。 マジレスするとSAPというかERPは給料の高い人の生産性を上げるもので、給料の安い人の使い勝手とか優先度低いし、末端にたくさんのデータの入力を要求するから。別になんの矛盾もない。 https://t.co/F2J5TdeWXw — (っ╹◡╹c) (@Heehoo_kun) March 21, 2024 私が新卒入社した会社でも当時のメインフレームをSAPに置き換えるみたいな話があって、コスト削減で大変な工場でそんなものは入れられないみたいな議論があったのは覚えています。その時のラインマネージャーの一人が、「ERPは給料が安い人を大量に使って給料が高

はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも

最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。 O’Reilly Japan はじめに私自身がデータ管理（データマネージメント）という観点でここ数年様々な検討を行ってきていますので前提としてその背景について簡単にまとめてみます。 かつてオンプレミスで運用を行っていた時は企業内のデータは完全に管理されていました。データウェアハウスを導入してデータの集約・加工は行われていましたが、専門チームがデータ仕様確認やデータ提供までもすべての責任を担っていました。品質は高いのですが利用者からの要望（新しいデータの提供、仕様の変更）の対応についてはスピード大きな制約がありました。また大規模なデータを扱うためには多大なコストが必要という制約もあります。 クラウド技術による「スモールスタートを可能とするインフラ」「大規模なデータ

企業の経営状況は財務に関する情報から分析できる。Pythonを使ってEDINETから有価証券報告書のデータを取得し、企業の収益性を可視化してみよう。 「財務分析」とは、「企業の財務に関する情報から経営状況を分析すること」です。企業の財務に関する情報は、「貸借対照表」「損益計算書」などから構成される「財務諸表」と呼ばれる資料から確認できます。 では、上場企業の財務分析を行う場合、それらの資料はどうやって入手したらよいでしょうか。そんなときに利用できるのが「有価証券報告書」です。 有価証券報告書は、企業の株式などを購入する投資家に対し、投資判断に有用な情報を示すために作られる資料です。財務諸表も有価証券報告書の中に含まれています。 この有価証券報告書は、金融庁が運用している「EDINET」というシステムから入手できます。EDINETは、有価証券報告書、有価証券届出書、大量保有報告書等の開示書類

最近「ChatGPT」というワードがSNSを賑わしているようです。 筆者は技術に対しては非常にミーハー(？)なので、ChatGPTが何なのか？また、どれほど凄いのか試してみたくなりました。 さっそく ChatGPT を使ってみたいと思います。 (ChatGPTの利用登録の方法については、解説サイトがたくさんありますのでそちらを参照ください。Googleアカウントを持っていればGoogleアカウントと連携してログインすることも可能です) ChatGPTに登録してログインすると以下のような画面が表示されます。 Examplesを使って、いくつかの問いかけに対する応答を確認することが出来ます。 試しにExamplesの一番上にある「Explain quantum computing in simple terms」を選択して ChatGPT へ問いかけをしてみます。 (問いかけの内容は「量子コン

データサイエンティストとは データサイエンティストは、端的にいえばAI社会におけるデータを扱うプロフェッショナルです。大量のデータを集め、整理し、パターンやトレンドを分析し、ビジネス上の課題や問題に対する解決策を見つける役割を果たします。 近年、人々の生活のデジタル化が進んだことで、知らず知らずのうちに人々の行動がデータとして蓄積されています。例えば、インターネットで使用した「検索ワード」や、ECサイトにおける購入履歴、SNSにおける投稿など、人々が行動した過程や結果で生成されるさまざまな記録は、すべてその人の特徴を表すデータの一部になります。 また生成されるのは個人のデータだけでなく、事業者のデータも数多く存在します。例えば農業や水産業などの一次産業、その先の二次産業、三次産業においても、気象状況や収穫量、工場での生産量、実際の市場での流通量など、企業活動を通じてさまざまなデータが生成さ

国土交通省が日本全国の3D都市モデルのアセットをUnity Asset Storeで配信。価格は無料 編集部：杉浦 諒 ユニティ・テクノロジーズ・ジャパンは本日（2023年2月28日），同社が展開するアセット販売ページ“Unity Asset Store”で，国土交通省とシナスタジアによる「PLATEAU SDK for Unity」が出品されたことを明らかにした。価格は無料。 「PLATEAU SDK for Unity」は，国土交通省が主導する日本全国の3D都市モデルの整備およびオープンデータ化を目指すプロジェクト“PLATEAU”のもと，シナスタジアが開発したオープンソースのツールキットだ。 配信されたアセットには，家屋やビルなどの建築物だけでなく，都市計画区域などの都市計画決定情報，土地の用途を示す土地利用，都市のインフラを示す道路や橋梁などのデータも含まれる。これらのデータは，U

はじめに どうもこんにちは。データアナリストをしているkunishouです。2022年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 私は先日無事に仕事を納めることができましたが、仕事も勉強も何もしなくていい日が数日続きすでにソワソワしてきました。この禁断症状を抑えるべく、2022年の技術動向の振り返りもかねて、 2022年のPython/データ分析関連の人気記事をまとめてみることにしました（完全に思い付きです）。 本記事では、2022年にQiitaに投稿された Python/データ分析関連の記事の中から いいね数の多かった150記事をピックアップし表にまとめました。 年末年始の暇つぶしがてらにでも読んでもらえたら幸いです。 モチベーション 実はQiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで

ビックデータ分析技術は情報処理技術を学ぶ上で重要となっている。本講義では、データ分析・データマイニングの基礎について学ぶとともに演習を通して実際にデータを分析するプロセスを学ぶ。特に、前期課程の「データマイニング入門」講義のさらに発展的な内容を学習することで、後期課程や大学院におけるデータサイエンス、人工知能、機械学習、自然言語処理などの関連講義の基礎となる知識を習得することを目標とする。

マテリアルズ・インフォマティクス（MI）に取り組む日本の大手化学メーカーが、MI用の「データ・マネジメント・プラットフォーム（DMP）」の整備を急いでいる。MI用のDMPとは、社内で行った実験のデータなどを、機械学習モデルの開発に活用できる形で保存・蓄積するソフトウエアプラットフォームのことである。 人工知能（AI）を活用して材料開発の効率を高めるMIの成否は、精度の高い機械学習モデルを開発できるか否かにかかっている。そのためには教師データとして、大量の実験データが必要だ。しかし本特集の第1回で見てきたように、多くの日本メーカーはこれまで実験データをあまり蓄積してこなかった。 そこで現在、MIに取り組む日本のメーカーがDMPの整備を急いでいる。DMPを情報システム的な観点で説明すると、実験結果など数値化されたデータを蓄積するデータベース（DB）と、論文や実験ノートといった非構造化データを蓄

松本健太郎 @matsuken0716 「仮説が先、データが後」は僕が敬愛する鈴木敏文さんの言葉です。「今あるデータから何かできないか」と問われても、何もできない最大の理由です。問題を解決する仮説が先です。しかし、大半の分析は仮説をすっ飛ばしていきなり検証から入り、かつそれを分析と言います。それはおかしい。（1/n） pic.twitter.com/5GaXebGfCM 2022-05-31 22:32:33 松本健太郎 @matsuken0716 データ分析には、仮説構築向きと仮説検証向きの2種類に分かれます。そして"仮説構築"の真意は「筋の良い可能性の選択肢を増やすこと」にあります。すなわち正解は1つでは無い、と私は考えています。分けて考えないと「正解を絞れていない」「確からしく無い」とひっちゃかめっちゃかです。（2/n） pic.twitter.com/ZifqK8q3PE 2022

JSON sucks.But we're making it better.Stop staring at thousand line JSON files in your editor and start staring at thousand line JSON files in the world's best JSON viewer. With a few nice features to help make it not the worst.

ランサムウエア（身代金要求型ウイルス）攻撃に遭ってデータを暗号化されたら、復号しようと格闘するよりもバックアップから戻したほうが早い――。 ランサムウエア「WannaCry（ワナクライ）」が2017年に世界規模で猛威を振るった後、このようなノウハウがいっとき広まった。確かに2018年ごろまでのランサムウエア攻撃に対しては、バックアップデータさえ適切に保有していれば事業が止まるほどの深刻な事態には陥らずに済むケースが多かった。 ところが最近はバックアップを取っていたにもかかわらず、なかなか復旧できず事業に支障を来す企業が散見される。ランサムウエアを使う犯罪者がバックアップデータまで暗号化するように手口を悪質化させたためだ。 製粉大手ニップンが2021年7月に受けたサイバー被害が記憶に新しい。同社はランサムウエアとは明言していないが、サイバー攻撃によって財務管理や販売管理などの基幹システムのデ

こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか

「数理最適化」とは――4つの応用事例、実問題適用への手順、機械学習との違い、使い分け方：リクルート事例で分かる数理最適化入門（1） リクルートにおける数理最適化の応用事例の紹介を通じて、数理最適化とは何か、どのようにビジネスに応用できるのかを紹介する連載。初回は、数理最適化の概要、リクルートにおける4つの応用事例、実問題適用への手順、機械学習との違い、使い分け方などについて。 近年多くの企業で、ビジネスでのデータ活用が当たり前になっています。中でも機械学習を用いた成功事例については、耳にしている読者の方も多いと思います。一方で、同じくデータ活用の技術である「数理最適化」は、さまざまな領域で成果を上げているにもかかわらず、その実態について知っている人はあまり多くないようです。 本連載ではリクルートにおける数理最適化の応用事例の紹介を通じて、数理最適化とは何か、どのようにビジネスに応用できるの