このイベントの登壇資料です。 ミノ駆動さんが今伝えたいドメインモデリングの勘所 〜“想定外”を排するデータ破壊駆動設計とは？〜 https://findy.connpass.com/event/332976/

2024.08.20 大規模データの負債解消への道のり Lunch LT の登壇資料です。

QA(品質保証)とテストの違いについて述べたコンテンツはたくさんありますが、自分自身の言葉で整理することを目的に記事にしたためました。 なお、QAに関する具体的なアプローチについては触れないため、そういった情報を求めている方は、そっとタブを閉じるか、ブラウザバックしていただければと思います。 また、本稿で述べる違いは、「QAエンジニアとテストエンジニアの違い」ではありません。 二つの品質 西堀栄三郎先生の「品質管理心得帖」では、「二つの品質」というものが提案されています。 この書籍は、40年以上前に出版され現在は絶版となっていますが、紹介されているマネジメントの考え方は現代にも活かすことができる素晴らしい書籍です。 入手困難な状況ではありますが、国会図書館のデジタルコレクションで読むこともできます。 そのときに、私は二つの品質を提案しました。 その一つは、『狙いの品質』であり、もう一つは、

Googleの研究部門であるGoogle Researchが、地球の大気をシミュレートする機械学習モデル「NeuralGCM」を開発したことを発表しました。このモデルは、従来の物理ベースのモデリングと機械学習を組み合わせることで、シミュレーションの精度と効率を向上させており、2〜15日間の天気予報において従来のモデルよりも正確な結果を出し、過去40年間の気温をより正確に再現することができます。 Fast, accurate climate modeling with NeuralGCM https://research.google/blog/fast-accurate-climate-modeling-with-neuralgcm/ Google AI predicts long-term climate trends and weather — in minutes https://w

AWS Summit Japan 2024 Day1の「大規模クラウドインフラ設計・構築案件の歩き方」のセッションについてレポートです。 控えめに言っても満足度の高いセッションでした。 大規模なクラウドインフラの設計構築運用に関わる方なら首がもげるくらい頷きが多い内容であり、アーカイブが公開された際はもう一度見たいと思うほど…。 セッションの内容には「設計書の一覧サンプル」や、「アプリ/インフラチームの責任分界」といった界隈でも関心が高い内容に触れられています。 考え方のひとつとして参考にしていきたい内容がモリモリでしたので、シェアさせていただきます。 セッション概要 大規模クラウドインフラ設計・構築案件の歩き方 Level 300: 中級者向け スピーカー: アマゾン ウェブ サービス ジャパン合同会社 仲谷 岳志 様 クラウド技術のコモディティ化により、エンタープライズ分野では近年、A

はじめにPIVOTでソフトウェアエンジニアをしている裾分です。今回は、PIVOTのポイントサービス「マイルプログラム」の設計についてまとめました。前回の投稿ではサブスクリプション機能の難しさについて解説しましたので、そちらも併せてご覧いただけると幸いです。 PIVOT マイルプログラムについてPIVOTマイルプログラムは、動画視聴やコンテンツの利用を通じてポイントを獲得できるプログラムです。獲得したマイルは、Amazon ギフトカードや各種サービスと交換可能です。アカウントを登録し、特定の条件を満たすことでマイルを貯められます。このプログラムは、ユーザーの活動をインセンティブ化し、PIVOTメディアの利用を促進することを目的としています。 PIVOT マイルのユースケース設計の話に入る前に PIVOT マイルのユースケースである、獲得・消費・失効について記載します。 獲得PIVOT マイル

グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネット…

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今回はみんなが大好きな「移行」について、 ここ3年間で大小4つのプロジェクトで本番移行の計画・推進のご支援を行った経験から、 その計画を立てる上でのポイントをいくつか共有したいと思います。 ##前提知識 ###システム開発における移行とは 簡単に言うと「旧システムのデータ・ハードウェア・ネットワーク・利用者・運用などを新システムに移し替え、新システムの利用に切り替える作業」のことです。 そして移行には、さまざまなトラブルが付きまといます。 例えば、以下の様なトラブルは移行トラブルあるあるです。 ①旧システムからデータが引き継がれていなか

メタデータの価値と意義データ基盤作ってもメタデータがないと必要なデータを発見するのは難しい。 テーブルの物理名とデータの中身だけでは想像はできるけど、意外とわからない。 また、データ自体の意味以外にも制約条件とか利用者情報などがあり、そういうメタデータを整備することでデータ活用ができる。 メタデータの種類システム基礎系：DDLとか ビジネス系：活用方法 関連性：リネージやER図 統制系：品質情報 セキュリティ情報：アクセス権限情報 システム運用系：ジョブ実行ログ ソーシャル系：利用者のレビューやアクセス頻度 メタデータの管理とデータカタログメタデータを管理するためのツールとしてはデータカタログがある。 データカタログは銀の弾丸だと思われがちで、いいデータカタログがあればだれもが使ってデータ利活用が進むと思われがちだが… 実際データカタログを入れたところで、メタデータは入力されずカタログ・ゴ

今のLLMを取り巻く状況について紹介します。

前回のnoteではSalesforceの学習がなぜ難しいのか？を書きました。 それを踏まえて、学習スタイル、学習に使えるチャネル(情報ソース)など具体的な話に触れていきます。 本noteは2024年4月30日発売の著書「成果を生み出すためのSalesforce運用ガイド」の第4章についての事前解説記事を兼ねています。 その他の解説記事は以下のマガジンにまとめてあります。 改めて書籍構成第一部　Salesforceを学ぶ -第1章　Salesforceをとらえ直す -第2章　Salesforce学習の課題 -第3章　Salesforceの学び方←こちら (そもそも)第一部の狙い第一部はSalesforceそのものの学び方について考えるものです。 詳しくはこちらのnoteにて狙いを記載しています。 https://note.com/yonyon_saeki/n/n17632a03ad94 第

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理…

要件定義書の書き方がわからない、要件定義って何やればいいの？という方もいると思うので、発注側としての要件定義書の作り方をまとめておく。 要件定義書に書くべき内容の図による表現 手順①：[作業]あるべき姿の確認 手順②：[作業]現状の把握 手順③：[作業]問題(あるべき姿と現状の乖離)の中から、問題点を特定する 手順④：[会議]あるべき姿と現状と問題点の認識に関する合意をとる 手順⑤：[作業]問題点をどこまで解決するかの目標を決める 手順⑥：[作業]問題点の真因を分析する 手順⑦：[会議]目標と真因分析結果に関する合意をとる 手順⑧：[作業]真因に対する対策を検討する 手順⑨：[作業]対策の中から、システム化対象のものを明確化し、要件化しておく 手順⑩：[会議]対策、システム化対象課題、要件に関する合意をとる 手順⑫：[会議]要件定義書の内容に関して合意をとる 手順⑬：[作業]要件定義書に承

はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。この記事追加してっていう要望も歓迎いたします。 テンプレート 2025年 2024/09/12 : 株式会社朝日新聞社 データソース : Google Analytics、Adobe Analytics、Amazon S3、Amazon RDS データ処理 : TROCCO、BigQuery アウトプット :Tableau、Looker Studio 2024/09/12 : 株式会社CARTA MARKETING FIRM データソース : Amazon EC2、Amazon S3 データ処理 : Fivetran、Snowflake、dbt、AWS Step Functions、Element

読終えてふと思った。 著者（渡辺さん）は、この本を書くより実際に販売 管理システムを作った方が楽だったに違いない。 販売管理システムで学ぶモデリング講座 渡辺 幸三 翔泳社 2008-05-29 Amazonで詳しく見る by G-Tools 「業務システム本」はいくつか世に出ているが、具体的なシステム設計の説明にここまでこだわった本は、他にないのではないか。 著者のねらいは、販売管理システムという具体的な例を通じて、著者が提唱しているシステム設計記法（三要素分析法）の実用性を実証 することにある。しかしそのねらいを達成する手段として事例の具体性にとことん拘ったが故に、ダシというには面白すぎる素材がこのサ ンプルシステムに含まれることになった。 僕が特に注目したいのは、販売管理における各種取引を、売上（売掛金）・仕入（買掛金）・在庫という３つの企業財産に与える影響と いう視点から分析してい

根本的にして唯一の原因 しかし、これは必ずしも「正しい診断」とは言えません。なぜなら、椎間板が潰れたりする変化は、程度の差こそあれ、加齢に伴い誰にでも起きることだからです。そして変形が見られても、痛みやこりが出る人もいれば、出ない人もいる。つまり椎間板の変形などは、首周辺に負荷が加わったことのひとつの「結果」に過ぎず、こりや痛みの「原因」とは言い切れないのです。その証拠に、レントゲンを撮っても異常は見られないのに、肩こりがひどいという人もいます。 このような椎間板の変形などの「結果」をもたらす根本的にして唯一の「原因」、それこそが頸長筋の機能不全なのです。 頸椎は背骨の一部である首の骨ですが、この頸椎を支えているインナーマッスル（深層筋）が頸長筋です。頸椎にじかに付着している、首の前側にある筋肉で、上の「C1」から下の「C7」まで7個の頸椎をひとつひとつつないでいます。この頸長筋の働きによ

こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat

YAPC::Hiroshima 2024

Leica M7, 90mm Tele-Elmarit F2.8, PN400N @Santa Monica, CA アメリカで研究するようになって最も驚いたことの一つは、日本では考えられないほど生産性の高い研究者が存在することだ。 たとえば僕がローテーションして、最後までそこでdissertation work（博士論文のための研究、活動）をすることにするか迷っていたあるラボ。そこはポスドク、テクニシャンを含めて（註：undergraduate=学部生は殆どアメリカの研究室には居ない）たった5人でやっているにもかかわらず、毎年5-6本ぐらいはペーパーを出し、ほぼ全て一流紙。多いときは年に2本ネイチャーに出し，一本は表紙になったりしていた(#)。 しかも良く日本では見かける深夜も土日も働いて、朝はどちらかというと崩れ気味、みたいな重労働系の生活ではなく、普通に朝来て、「うーん今日は狂ったよ