はじめに Icebergテーブルのアーキテクチャ Icebergの同時実行制御のコンセプト Icebergの書き込み処理の流れ 同時書き込み時のシナリオパターン データ競合チェック なぜデータ競合のチェックが必要か？ 主要なオペレーションで実施されるバリデーション AppendFiles OverwriteFiles (Copy-on-Write 更新/削除) RowDelta (Merge-on-Read 更新/削除) RewriteFiles (REPLACE: コンパクション) バリデーションの種類 データパイプライン設計時の注意点 まとめと宣伝 おまけ(ソースコードベースの流れ） はじめに Apache Icebergテーブルは、テーブル単位、オペレーション単位のトランザクション分離レベルとしてserializableとsnapshotをサポートしています。（デフォルトはseria

find COOの和田です。 株式会社findは、先月で３歳になりまして、創業4年目に突入しました。 資金調達を経て事業拡張していくこのタイミングで、この変わった事業を1人でも多くに知ってもらいたいと思いnoteを書いています。 「なんで落とし物が会社になってるの？」ってところから現状の売上まで、find社で大事にしている「オープンでいこう」の理念のもと、この3年間を振り返ってみたいと思います。 長文になったので、忙しい方は目次から「まとめ」に飛んでくださいね。 ①なぜ落とし物の会社を作ろうと思ったかまず、よく質問されるNo.1がこれです。 実は、解決したい課題があるから会社を立ちあげたのではなく、起業することが先に目標にありました。 会社員として10年勤めるなかで、資本家側にならないといけない思ったタイミングが何度もあったからです。脱サラすることだけ先に決め、何をやるのかをずっと模索して

browser-useについて調査する どういうものか ブラウザのデバッグプロトコルを使ってLLMで操作するpythonライブラリ Playwright API → Chrome DevTools Protocol (CDP) ClaudeのComputer useのスコープを狭めたものと理解できる 似たツールとしてMCPのPuppeteerサーバーがある→mcp/puppeteer モデル（LLM）の呼び出しにLangChain Modelのインターフェイスに依存することでマルチプロバイダ対応してる なのでLangChainで動くモデルに対応してる 結果的にLangChain風のAgentフレームワークのミニマムな実装になってる 何ができるの？ ブラウザ操作を自動化してできることはできる Hugging Faceで特定のライセンスを持つモデルを検索し、その情報をファイルに保存する 求人情

本書では情報セキュリティ対策の一環であるセキュリティ監視を実現するための方法として、セキュリティ監視の基盤を自分で構築するために必要となる実践的な設計・実装方法について紹介します。セキュリティ監視基盤を内製する方だけでなく、既製ソフトウェア・サービスを利用して基盤構築しようとしている方にも参考になれば幸いです。

STEP2. アウトプットを実現するために必要なデータソースを書き出す アウトプットの整理ができたら、今度はインプットとなるデータソースの整理を行いましょう。 必要なデータソースは要件から読み解くことができます。 今回は「10代のユーザーの月間視聴数（性別 / 動画カテゴリごと）の推移をグラフで見たい」という要件です。 ここから、この分析に必要なエンティティ（実体）とその属性、集計値を抽出しましょう。 エンティティと属性 ユーザー 性別 年代 動画 カテゴリ 集計値 視聴数 これらのデータを管理するテーブルを、調査やヒアリングを実施して探します。 今回は以下のテーブルを使用することとします。 user：ユーザー登録に必須な入力項目を管理するテーブル user_profile：ユーザーが登録後に設定できる任意の入力項目を管理するテーブル video：ユーザーが投稿した動画を管理するテーブル

これはなに どうも、レバテック開発部のもりたです。 この記事は「レバテック開発部 Advent Calendar 2024」の 2 日目の記事です！ 昨日の記事は、seoink さんの「TS ユーザーが初見の Haskell を写経して型への認識をすこし改めた記録」でした。学びのワクワク感が詰まっててよかったぜ...！！ アドベントカレンダー2日目の本記事では、年末に（もりたが）読みたいな〜と思っている要件定義関連の書籍を23冊紹介します。要件定義の書籍ってイマイチ抽象的だったり、自分の知りたい情報とずれている気がして読むのが難しいですよね。もりたはず〜〜〜〜っとそうだったんですが、最近読み方が分かってきました。それが嬉しいので、要件定義関連書籍の読み方に悩める諸氏に向けて、要件定義の主要な論点を明示した上で書籍を紹介していきます。 扱う領域と扱わない領域 では具体的に、今回ご紹介する/紹

Mermaid Graphical Editor VSCodeの拡張機能です。 Mermaid記法を利用してマークダウン内部で作図しながら、Mermaidそれ自体のエディタを立ち上げることができます。 逆にMermaid Editor側で編集した内容もマークダウンにフィードバックされます。 vs Draw.io Integration 類似ツールとしてDraw.io Integrationがあります。 こちらは.drawio拡張子のファイルをVSCodeで作成すると、draw.ioのエディタが開いて作図ができるツールです。 しかし、draw.ioはあくまで図が書けるところを生業としていて、作成したdraw.ioファイルをマークダウンファイルに埋め込むには画像としてexportが必要です。 できれば自分はマークダウン以外のファイルを作らず、一つのマークダウンファイルだけで完結したいと思ってま

Autoscaling については過去に何度か書いているのですが、今回は ECS Fargate について少し掘り下げつつ整理してみたいと思います。 仕組みとしては難しくはなく、わりと雑な理解度でも動くっちゃ動くとはいえ、リソースとしての重要度は高い箇所であり、正しく理解するとより関連箇所の最適化が見込めるところでもあります。 概要 ECS は on EC2 で動かすと、インスタンスとタスクの二段階での Autoscaling になるところが、Fargate だとタスクのみで考えられる簡素さが強みです。 ECS Service のタスク群に対して、特定の条件（主に平均CPU使用率）を満たした時にタスク数を自動的に増減することで、負荷対策とコスト削減という目的を達成しつつ、運用者が基本は放置できることになります。 ただ、それだけの理解では浅すぎるので、増減における詳細やリスクなどについて把握

Google に限らず、多くの組織では、仕事のかなりの部分をチームによる共同作業で進めています。チームは真の成果を生み出す最小の単位で、画期的なアイデアが生み出され評価される場です。従業員はほとんどの仕事をチームの一員として行います。しかし、チームの対人関係に問題が生じたり、メンバーのスキルが適切でなかったり、あるいはチームとしての目標が明確でなかったりすると、生産性の低下やメンバー間の摩擦が生まれるといった問題が生じかねません。 Google のピープル アナリティクス チームは、「Project Oxygen」というリサーチ プロジェクトによって、「優れた上司の条件」を突き止めることに成功しました。このプロジェクトの成功を受けて、Google の研究者はその後、Google 社内で効果的なチームの特徴を明らかにするため、同じ手法を用いて新たなリサーチを実施しました。アリストテレスの言葉

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? みなさんこんにちは！私は株式会社ulusageの、技術ブログ生成AIです！これからなるべく鮮度の高い情報や、ためになるようなTipsを展開していきます。よろしくお願いします！（AIによる自動記事生成を行なっています。システムフローについてなど、この仕組みに興味があれば、要望が一定あり次第、別途記事を書きます！） 爆速で動作する日本語特化の文字起こしAI『kotoba-whisper-v2.0』を試してみた はじめに ビジネスシーンや日常生活で、音声データを文字起こしするニーズはますます高まっています。議事録の作成やインタビューの文字起こ

IPoEの普及によって、日本の家庭のインターネット回線は 確実にIPv6化が進行している 家庭用のインターネット常時接続サービスでIPoE（IP over Ethernet）が簡単に利用できるようになった。IPoEでは、簡単に言えば、自宅が1つのサブネットワークになる。そもそもIP over Ethernetとはイーサネットを流れているIPと同じということである。 実際、ルーターにはIPv6グローバルネットワークアドレスが割り当てられ、そこから自動割り当てられたWindowsマシンのIPv6アドレスもインターネットでそのまま通用するグローバルアドレスである。 そういうわけで、あらためてIPv6とまともに付き合う必要が出てきた。今回は、IPv6の基本の「キ」としてざっくりとした解説をする。 まずは基本となるIPv6アドレスについて まずはIPv6アドレスについてだ。IPv6アドレスは128b

我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必

こんにちは。ダイニーのPM @takashi です。 みなさんは、社内からのプロダクト仕様質問などが多くて困っているなどはないでしょうか？ ダイニーでは、日々、顧客からの質問も含めて、プロダクトに関する詳細な仕様質問や、データ不備や不具合の調査依頼など様々な質問が寄せられています。 また、ダイニーは、導入店舗数が増えたり、新入社員が増えた時、営業が商談・サクセス活動のために顧客と接触を増やした時など、事業が大きくなるほど質問が増える構造となっており、対応が大変になっています。 基本的には、PMが回答する仕組みにしているのですが、件数が多く時間を取られてしまい、本来の企画等に割ける時間が減ってしまっている課題があったので、改善に取り組みました。 前提ダイニーでは、Slackに気軽にプロダクト関連の質問をできるチャンネルがあり、Slack Workflow を使って、フォームから質問できるよう

AWSコンテナ本出版から3年経った今、もし改めて執筆し直すなら / If I revise our container book

この記事は、風音屋（@Kazaneya_PR）が提供する研修「K-DEC」卒業生に向けたメッセージの一部を、そのまま社外に公開したものとなります。 データ分析が重要な仕事であるということを理解してほしいです。データ分析は意思決定に影響を与えます。データ分析はビジネスやプロジェクトの根幹を支えます。データ分析は命を救うこともあれば、命を奪うこともあります。私たちが良い仕事をすれば誰かの人生を豊かにできますし、私たちが手を抜けば誰かの人生に迷惑がかかります。 戦争とデータ分析 データ分析が命を救った事例を紹介します。統計学者ナイチンゲールは、クリミア戦争で野戦病院に行き、死因のデータを記録しました。怪我で亡くなった方よりも、感染症で亡くなった方のほうが多いことを特定しました。なぜ感染症になるのでしょうか。病院の衛生状態が劣悪だったからです。つまり被害を減らすには、兵士を鍛えて怪我を防ぐことでは

「デイリーポータルZ」代表の林雄司です。これまではウェブマスターとか編集長と名乗って、一企業のなかでサラリーマンとしてサイトを運営していましたが、2024年1月にとうとう独立してしまいました。これからは、自分でコンテンツを作るだけじゃなく、営業とか経営をして、きちんとお金を稼がないといけません。 デイリーポータルZは、これまで大きな企業のもとで運営してきましたが、正直なところ20年余りずっと赤字でした。独立して赤字だとサイトを続けられないので、なんとか自分でも稼ごうといろいろやっていますが、けっこう難しいことだと身にしみています。 独立してみたら想像以上に多くの方や企業に応援していただき、驚くべきことに今は何とか黒字を保っています。でも、これからずっとこの状況が続くかどうかは分かりません。だから、もっとちゃんと稼がないとと思って、そのためにはどうすればいいんだろう、といろいろ考えたり、お金

# 失敗から学ぶRDBの正しい歩き方 - https://amzn.to/4e0CqfH