Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事では、私がこれまでXで発信してきたデータサイエンスに関わるさまざまな分野のチートシートを一挙にまとめました。前処理、可視化、機械学習、深層学習、ベイズ・統計、さらにはその他の関連トピックまで、私が作成したものからネット上のものまで多岐にわたる内容を網羅しています。 それぞれのセクションでは、実践的かつ即戦力となる情報が詰まったチートシートを紹介しており、初心者から上級者まで幅広い層に役立つ内容を目指しました。 日頃からX（旧Twitter）を通じて、データサイエンスに関する知識や役立つリソースを共有していますが、今回の

はじめに こんにちは！yasunaです！ 私は普段は会社員をしていてエンジニアではないのですが、趣味でプログラミングをしています！ 今回はAIの力をフル活用しながら個人開発アプリの要件定義を作るまでの流れを記録しておきたいと思います。 今回作ろうとしているアプリケーションについて 「TikTok台本作成支援システム」というアプリケーションを作ろうとしています。ユースケース図はこんな感じになりました。 この図を作るときに役に立ったのがAI搭載エディターのCursorです。 CursorはAIがコードを生成してくれるので、コードを書くのが苦手な私のような人でもAIとチャットしながらコードを書くことができます。 こちらの図もCursorでmdファイルを作成して図に変換しました。 これはPlantUML（プラントユーエムエル）という図表作成用のマークアップ言語です。 UML（Unified Mod

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事は K3 Advent Calendar 2024 23日目の記事です 本記事では、趣味がSurveyで毎日論文漬けの僕から、論文の探し方・読み方のTipsを伝授します！ もちろん、研究分野によっても論文の書き方や特徴は変わってきます！基本的に普遍的なことを書くつもりですが、僕の専門であるコンピュータサイエンス・機械学習・コンピュータビジョン・自然言語処理の分野に依存した部分もたたあると思います！あくまで参考程度に、もし指導教員の話とコンフリクトしたら、そちら優先してマージしてください！ この記事を読んでる人の中には、来年度から研

tl;drJSON Schema で指定したフォーマットで出力を制御可能になったよ cURL / Python / JavaScript のそれぞれで試してみたよ 具体的な実用例があったのでそれも動かしてみたよ 使う上での tips や今後どんな機能が追加されるかまとめたよ 公開されたブログの流れに準拠しつつ、意図がズレない範囲で翻訳、解説、コードの実行をしていきます。チュートリアルになっているので、よかったら手を動かして試してみてください。 Ollama が structured outputs をサポート。JSON Schema で定義したフォーマットに LLM の出力を制御するすることが可能になりました。Ollama の Python と JavaScript のそれぞれのライブラリにおいてもサポートするよう更新。 ブログでは structured outputs のユースケースとし

YAPC::Hakodate 2024での発表内容です。 https://yapcjapan.org/2024hakodate/

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに : Neo4jとオントロジーの世界を探る こんにちは。この記事では、「辛さでつながる人々」というユニークな視点から、知識グラフ、オントロジー、そしてNeo4jについて探っていきます。カレー好きの方も、データ分析に興味がある方も、一緒に「辛さ」を通じてデータの新しい世界を覗いてみませんか？ 1. 知識グラフって何だろう？ まずは、知識グラフについて考えてみましょう。私が理解した限りでは、知識グラフは情報をつながりで表現する方法のようです。 例えば、こんな風に考えてみました： 田中さんは辛さ耐性5 バターチキンカレーの辛さは3 田

拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます！ 深層ニューラルネットワークの高速化 (ML Systems) 作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォーマーは RNN であるという話をします。本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。 本稿は『深層ニューラルネットワークの高速化』の第 6.3 節と第 7.2 節に基づいています。 過去回 拡散モデルと最適輸送（最適輸送第 5 刷） GNN の最新動向（グラフニューラルネットワーク第 3 刷） 深層学習で部分空間を扱うときは射影行列を考えるとよい（グラ

画像サンプルと動画サンプル 対象には画像と動画を選択できる。 画像下のサンプルから再生ボタンマークのついたサンプルを押せば動画が選択できる。 動画のサンプルを選択すると、各モデルが解析してタグ付した要素の確からしさの値が時系列にグラフで表示される。 再生ボタンを押すとその値がどう変化するのかを見て取ることができる。 設定 画面右上にあるconfigureボタンを押すとある程度の設定変更ができる。 できることの一覧は確認した限りだと次の通り。 タグ付けする際にモデルが判定に利用しているしきい値の変更 確からしさの値の表示 言語設定（日本語は若干違和感のがあるのでEnglishのままがオススメ） 解析に利用するモデルの選択 その他 画面右下の＋ボタンを押せばURLを指定するなどして別の画像の解析結果も見ることができる。 GUIで手元の画像がどう判断されるか確認できるので是非遊んでみてほしい。

企画を考えたり、問題解決の方法を模索したり、ビジネスの場面では、アイデアを考えることが多くあります。しかし、なかなかいいアイデアが浮かばない……ということも多いですよね。 そんなときは、生成AIにアイデア出しを手伝ってもらうのはどうでしょうか。 本記事では、ビジネスでよく使われるアイデア出しの基本技術をAIに適用させ、それを使って実際にアイデアを出すプロセスをご紹介します。今回は、多くの人にとって身近な「オフィスの生産性向上」をテーマにアイデア出しを試してみました。 生成AIはアイデア出しの強い味方になる！ まずは簡単な準備から。使うAIを選ぼう 1. アイデア出しの基本「逆算法」 2. アイデアを広げるなら「SCAMPER法」 3. 異なる視点を得るなら「ペルソナ法」 AIはアイデア出しの強い味方になる！ 実践してわかった、生成AIでアイデアを出すコツ 生成AIはアイデア出しの強い味方に

前回の投稿で一部しか紹介出来ておらず、詳細は別途記事にする予定がだいぶ遅くなってしまいました。今回はStreaming, RAG, Streamlitを使って、アップロードしたPDFファイルの内容に関する質問に、ストリーミング形式で回答してくれるチャットボットの作り方を紹介をさせてもらいます。 各個別の機能の詳細は既にQiitaを始め多くの記事で紹介されていますので、本記事ではちゃんと動かせることに焦点を絞り、全体像を掴んでもらえることが出来ればと考えてます。 １.　前提となる環境 ・Python 3.9以上（ただしGPUで使用する場合はtorchの関係で3.11を推奨）。 ・必要なパッケージ：　Pythonのバージョンに合わせて下記を修正して下さい。

2019年末現在、Emotetによる被害が国内で収まる気配がありませんが、昨年のブログ記事でも言及したように、Emotetはメール情報を窃取するだけでなく、他のマルウェアを呼び寄せるダウンローダーの性質を持つことが特徴の一つです。海外ではすでに以前よりEmotetからTrickBot等、他のマルウェアがダウンロードされているケースが報告されていますが、最近になり、Emotetから最終的に「Ryuk」という標的型攻撃ランサムウェアの感染に繋がるという事例が海外で複数確認されています。つまり、場合によっては日本国内でもいずれRyukの感染被害が明るみに出てくる可能性が今後想定出来なくはありません。 そこで本記事では、標的型攻撃ランサムウェア「Ryuk」についてその詳細を解説します。 ■Ryukとは 2018年夏頃に初めて存在が確認された「Ryuk」という標的型ランサムウェアは、これまで海外で多

Watch Our Google Algorithm Leak Webinar Replay Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to the Google algorithm leak. Internal documentation for Google Search’s Content Warehouse API has been discovered. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document

import torch from transformers import AutoTokenizer, AutoModelForCausalLM from llava.model.builder import load_pretrained_model if __name__ == "__main__": vlm_model_name = "liuhaotian/llava-v1.5-7b" vlm_tokenizer, vlm_model, image_processor, context_len = load_pretrained_model( model_path=vlm_model_name, model_base=None, model_name="llava-v1.5-7b", load_bf16=True, device_map="cpu", device="cpu" )

はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール

1. Pythonでアプリを作りたい 先日、「Pythonで画像処理アプリを作りたい」という相談を受けました。画像処理と言っても複雑な物ではなく、「フォルダ内の画像を一括でトリミング・縮小する」くらいのアプリです。 さて、先方の希望が「画像処理を学びたい」だけならOpenCVやnumpyについて教える流れになると思うのですが、ゴールは画像処理ではなくアプリ開発です。それも、仕様を詳しく理解していないユーザーでも簡単に使いこなせるようなアプリが目標地点のようです。 ふーむ、これは一筋縄ではいきませんね。 ここでPythonに詳しい人ならPython・GUIアプリと聞くとtkinterやQtを思い浮かべると思います。ですが、これらを使って「おしゃれで使いやすい」アプリを作るのはなかなかに骨が折れる作業です。 そこで私はpywebviewをオススメすることにしました。これはhtmlを使って作った

1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ

「Gemini API」の「File API」を試したので、まとめました。 1. Gemini API の File API「Gemini API」は、マルチモーダルプロンプトとも呼ばれる「テキスト」「画像」「音声」によるプロンプトをサポートしています。 小さい画像をプロンプトに含める場合は、ローカルファイルを直接指定できますが、 大きな画像、動画 (画像フレーム)、音声は、「File API」でファイルをアップロードする必要があります。 「File API」は、プロジェクトごとに最大20GBのファイルを保持できます。各ファイルのサイズは最大2GBで、48時間保存され、その期間内に利用できます。「Gemini API」が利用可能なすべてのリージョンで無料で利用できます。 2. サポートしているファイル形式「Gemini」でサポートしているファイル形式は、次のとおりです。 2-1. 画像フォ

「Google Colab」で「BAAI/bge-m3」を試したので、まとめました。 1. BAAI/bge-m3「BAAI/bge-m3」は、多機能、多言語、多粒度の特徴を持つ埋め込みモデルです。「JapaneseEmbeddingEval」でも高スコアをマークしています。 ・多機能 : 埋め込みモデルの3つの一般的な検索機能 (dense retrieval, multi-vector retrieval, and sparse retrieval) を同時に実行可能 ・多言語 : 100 以上の使用言語をサポート ・多粒度 : 短い文から最大8192トークンの長文まで、さまざまな粒度を入力可能 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -U FlagEmbedding

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 以下のXを見て、早速「Create」を試してみたので、実際に使った所感をまとめます AIがリアルタイムでWebページを作ってくれる神サイト ㅤ 会話だけで、理想のUIを実現することが可能 ㅤ 使い方・活用法をツリーにまとめます！ ㅤ ブックマーク保存をおすすめします↓ pic.twitter.com/J1cJkUkyO8 — すぐる | ChatGPTガチ勢 𝕏 (@SuguruKun_ai) March 25, 2024 一言で言うとヤバいです... 詳細は以下のサイトでも解説しています Createとは Create 公式サイト

はじめに Power Automateには承認機能が存在します。 TeamsとOutlookで申請に対する承認・否認、コメントの付与ができ、簡単なワークフローの構築が実現できます。 UdemyやKindle、Web上にも承認ワークフローの例が豊富に出てくるので、実装までの道のりはそう遠くないです。 ■ Udemyおすすめ ■ Kindleおすすめ Power Automateではじめる業務の完全自動化 Microsoft learnにも例があるので、ステップバイステップで本格的なワークフローの構築も目指せます。 動的な承認段階への対応 ワークフローを作成する中で、 承認段階が固定的ではないと対応が難しい、この点に課題感を感じていました。 多段階への対応を実装するにも、非常にPower Automateフローが冗長になる傾向を感じています。 実際の業務を想定すると、ワークフローを要するシーン