はてなブックマーク

概要 この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。 この記事の内容：Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。 この記事を読んでできること：前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。 序説 (長いので、お急ぎの方はスキップしてください) MCP、AIエージェント等盛り上がりを見せてますが、 そもそもLLMってなんで動いているんでしょうか？？ Transformerっていうのが内部にあって、 確率的分布に従って、 RLHFで人間のフィードバックで学習させてetc、、、 理論的な説明はよく見かけます。 ですが、

(2025/05/08)uv venvの手順に誤りがあり修正しました。 概要 対象者：エージェント連携やA2Aに興味のあるAIエンジニアや開発者 内容：Google製のA2Aプロトコルを用いた複数エージェント連携チュートリアルの実践解説 できること：複数のAIエージェントをA2Aで接続し、統合チャットUIから対話・実行できるようになる 序説 本日、A2Aチュートリアルを触りました。 １回目構築:　1時間30分(エラーで２回ハマる) ２回目構築: 10分くらい !? ※個人差あり という感じでちょっと詰まった部分がありましたので、共有したいと思います！ A2Aとは エージェントとエージェントをつなげるプロトコルです！ たとえば、チャットボット・画像生成・為替変換など異なるAIサービスを連携させて、一貫したユーザー体験を提供できます。 An open protocol enabling com

概要 この記事を読む対象者 GitHubリポジトリのドキュメント自動生成に興味がある開発者・エンジニア。 この記事の内容 DeepWikiの仕組み・使い方・セキュリティ上の注意点を検証付きで紹介します。 この記事を読むとできること DeepWikiを安全に活用し、リポジトリから自動で高品質なドキュメントを生成できるようになります。 序説 私「A先輩見てください！DeepWikiで、一瞬でドキュメント作成できるんですよ！」 A先輩「それセキュリティ的に大丈夫なん？」 私「え・・・」 DeepWikiとは みなさん、ソースコード書いて、それをドキュメントするの大変じゃないですか？ そんな時に、ソースコードからいい感じにドキュメント作ってくれるのがDeepWikiです。 Devinが作ったgithubなどのリポジトリからドキュメントを生成するOSSです。 (「DeepWikiを真似て作ったOSS

概要 この記事の対象者: AI アプリの開発や運用に興味のあるエンジニアやビジネス担当の方 この記事の内容: Dify ってなに？ どう使うの？ 雑学も交えながらサクッと紹介！ この記事を読んで分かること: Dify を使ったジェネレーティブ AI アプリの開発や運用のやり方がイメージできる 序説 この数年、チャットGPTの人気やオープンソースの大規模言語モデル（LLM）の進化で、AI を使ったアプリ開発がすごいスピードで進んでいます。 でもいざ作ろうと思うと、「どのモデルを選ぶ？」「プロンプトはどう管理する？」「バックエンドは？」といった感じで、地味にやることが多いんですよね。 そこで注目を集めているのが Dify。 これは言ってみれば、「LLMOps（大規模言語モデルを運用管理するしくみ）+ Backend を一括提供してくれる頼れる存在。 AI アプリを作るときに悩ましい部分をごっそ

概要 この記事を読む対象者 生成系AI（ChatGPTなど）の連携に興味があるWordpressを使う人。 この記事の内容 WordPressの独自データを活用し、RAGを使った簡易チャット機能を構築する手順。 この記事を読んで分かること CSV+BIN形式で記事要約を埋め込み検索し、WordPress REST API経由でChatGPTに回答させる実装方法。 序説 みなさん、WordPressでのサイト運営は楽しんでいますか？ 中にはフルスクラッチで構築する方もいらっしゃいますが、簡単に導入・管理ができるCMS[1]を使う方も多いのではないでしょうか。 本記事では、そんなWordPressを使いながら RAG[2] を用いた検索機能の構築を紹介します。 成果物 以下の画像のように、WordPress上に用意したチャット画面でユーザが質問を入力すると、 1. 生成AI（ChatGPT）に

概要 この記事を読む対象者: 「AWSを使って開発したいけど、コストや設定が気になる…」と悩んでいるエンジニア この記事の内容: LocalStackの概要や歴史、インストールから基本操作まで、手を動かしながら学べる実践ガイドをお届けします この記事を読んで分かること: LocalStackを活用してAWSサービスをローカルでエミュレーションし、コスト抑え効率よくテスト環境を構築する方法が身につきます！ 序説 「AWSは便利だけど、テストするだけなのにお金がかかるのはちょっと…」そんな経験、ありませんか？ 本番環境でいきなり試すのはリスクが高く、設定ミスで予算オーバーになることも。 そんな悩みを解決してくれるのが LocalStack です！ LocalStackを使えば、AWSの主要サービスをローカルでそっくり再現できるため、コストを気にせず高速に開発・テストが可能になります。 この記事

概要 この記事の対象者: Denoについて知りたい人。noejsの代わりの新しいフレームワークを探している人。 この記事の内容: Denoの背景、特徴、インストール方法、およびDeno Deployを使用したウェブアプリケーションのデプロイ方法の解説している。 この記事を読んでわかること: Denoを用いたディプロイ方法がわかる。 序説 みなさん、web開発生活楽しんでますでしょうか？ ご存知のように、Web開発の世界は常に進化し続けています。 Node.jsの登場以来、JavaScriptバックエンド開発は大きく変わってきましたが、新たな選択肢として「Deno」が注目を集めています。 今回は、Denoを使ってディプロイしてみた話をしたいと思います。 Denoって何？ そもそもDenoとは何なのでしょうか？ やっぱり色々文字で説明するよりみた方が早いですよね まずこちらのwebサイトをご覧

概要 対象者: データエンジニアやデータサイエンティストなど、ビッグデータを効率的に扱いたい技術者。 内容: Apache Icebergの基本的な特徴と機能（ACIDトランザクション、スキーマ進化、テーブルスナップショット）について解説。 記事を読むとわかること: Icebergの基本的な機能とその利点、具体的な使用例やコードサンプルを通じて、どのようにデータの整合性やスキーマ変更、過去のデータ参照が可能かが理解できる。 序章 Icebergについて調べる機会があり、ざっくりとまとめてみました。 詳しくはこちらドキュメントを読んでください。 Apache Icebergのドキュメント Icebergとは Iceberg(アイスバーグ)は、大量のデータ(ビックデータ)を効率よく扱う(高速で一貫性のあるクエリ)ためのオープンソースのテーブル形式です。 以下の特徴があります。 ACID (at

概要 対象者: データベースの技術に興味があるエンジニアや開発者 内容: オープンソースの分散SQLデータベース「TiDB」の特徴、HTAPの概念、実際の導入手順やチュートリアルの紹介 記事を読むとわかること: TiDBの基本的な特徴と利点、HTAPの概念、分散SQLデータベースの仕組み、実際の導入手順とチュートリアルの流れ 序章 みなさんTiDB（「たいディービィー）はご存知でしょうか？ TiDBは何と言っても、ハイブリッドトランザクションおよび分析処理 (HTAP) ワークロードをサポートするオープンソースの分散 SQL データベースです。 今日はその導入の紹介をします。 HTAPについて 「ハイブリッド トランザクションおよび分析処理」を英語にすると Hybrid Transactional and Analytical Processingです。 この頭文字をとってHTAPと呼びま

始めまして、ちゅらデータの淡島です。 冬に沖縄に行きたいという理由でちゅらデータにジョインさせてもらいました 今はデータサイエンティストという肩書きでお仕事させてもらっています。 背景 ちゅらデータといえばSnowflakeみたいな風潮がありますが、自分は経歴的にもGCPにどっぷり浸かってきており、BigQueryもいいんだぞ！という感じで細々とやらせてもらっています。 弊社ではOSS活動等も推進しており、ひょんなことから自分もdbtとか周りのOSSに関する活動をすることになり、何か面白いテーマで記事を書けないかなぁと思っていたところ こんな感じの記事を見つけてしまいました。 最近は弊社でも右を向いても、左を向いても生成AI周りの話がでてきており、自分もベクトル検索だのRAGだの色々頑張っておりふと もしかしてdbtだけで非構造化データのRAGって作れちゃうのでは。。。そしてこれ結構Big

この記事は何 2023年、世間はLLMで大騒ぎですが、データの業界ではセマンティックレイヤー・Headless BIへの注目も高まっています。 これは、まだ国内では黎明期ともいえるそんな技術が、今後どんな存在となりうるのかを、筆者の個人的な解釈と妄想をもとに述べる長文ポエムです。 セマンティックレイヤーとは まず最初にセマンティックレイヤーについて解説します。 セマンティックレイヤーとは セマンティックレイヤーとは、データベースとデータ利用者の間に入り、両者間のやりとりを円滑にする存在です。 データ統合プラットフォームを提供するAirbyte社は、セマンティックレイヤーをデータとビジネスユーザーの中間に位置する、複雑なデータを理解可能なビジネスの概念に変換・翻訳するレイヤーと説明しています。 A semantic layer is a translation layer that sits