データ分析コンペを始めたてな人の中には『どこから手を付けていいのかわからない』方もいらっしゃるのではないでしょうか。『テーブルコンペは特徴量つくればいいけど、画像コンペって何するの？』という声も聞いたことがあります。 ということで、kaggle advent calender 2024の8日目の記事は、画像コンペで何しようかというお話になります。数回にわけて書かせていただこうと思います。基本的に初級者(Expertぐらい)向けですのでご了承ください。 8日目：本記事 14日目：作成中。リンク貼付予定 21日目：作成中。リンク貼付予定 24日目：作成中。リンク貼付予定 自己紹介 アカウント名: K_mat Competition Grandmaster (動画像系や時系列センサデータ系が主) 元々、本業はメカニカルエンジニアで博士 Kaggleおよび機械学習は2019年から5年 Vision

Amplifyのデータスキーマに、Conversationのroutes設定をこのように行うと、ストリーミングの対話APIが作成することができます。このconversationにはtoolを設定することができます。(ドキュメント)。このtoolにretrieveをする関数(Query tools)を設定することで、RAGを構築します。 RAGの構築 1.knowledgeBaseの作成 Amplifyには、knowledgeBaseをデータスキーマやストレージのように簡潔に定義できる機能はないので、custom resourcesを使って定義します。(ドキュメント) amplify/custom/下に以下のようにknowledgeBaseの定義をします。 import { appConfig } from "./../../config"; import { v4 as uuidv4 }

はじめに Google Apps Script (GAS) は HTML Service という機能を使って AppsScript関数 を呼び出せる Webアプリ を作ることができます。 この記事では HTML Service を使ってGASで Webアプリ を作る方法をまとめたものです。 Webアプリの作り方 Webアプリを表示する まずはシンプルなWebページを表示してみましょう。 新規または既存のプロジェクトを開く 新規または既存のGASのスクリプトプロジェクトを開いてください。 サーバサイドの処理を定義 GASで以下のようなサーバサイドの処理を書きます。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 所属大学にて9月に1日で機械学習なんもわからん状態から生成モデルを組めるようになろうというワークショップをした。普通に考えて参加者側の視点に立ったら無理なんだが, まあとにかくそういうイベントをやった。やってみたところ, 「何話してるのかわからん」という感想が多く大絶賛だった(反省しています)。 ただワークショップ中にきた質問が結構自分も最初のころは躓いたところだな〜〜というものも多く, ワークショップ中にきた質問点をまとめていけば案外生成AIをフルスクラッチで作れる技術者になるためのTips集が作れるのではないかと思い, この記事を書

開発用適当ツールとは？ 開発していると、たまに何かしらプロジェクト内で開発者用や運用者用にテストデータを作成したり、DBやAPIに繋いでCSVやExcelを出したりする名もなきツールが大量に必要になってきますよね？ 配布して他の人にも使ってもらったりしたくなりますよね？ これが開発用適当ツール1です。 そういった開発用適当ツールをGoで作ってみたら案外体験が悪くなかったのでシェアしたいと思います。 どうやって開発用適当ツールを作るか？ 既存プロジェクトにそのままGoのプロジェクトレイアウトを重ねていきます。 具体的には以下のような感じです。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる（かもしれない）Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 経緯 ごく稀に、プロダクト内に書かれた文言の修正をすることってありますよね。 htmlやテンプレートファイルに文字列が記載されていれば、普通にgrepするなり、sedで一括置換できたりします。 問題は画像です・・・！ 画像の中に置き換えなければいけない文字があることもあると思いますが、画像を目視で見ないと分からないですよね。 過去の経験的にも、あとから置き換えなければいけない文字を含む画像が見つかって、修正する・・・みたいなことを何度か経験したことがあります。 （本来は、画像内にあまり文字を書くのは良くないと思うのだけど・・・説明ページ

はじめに みなさんはChromeの拡張機能を使っていますか？ 僕も使っていますが、案外Chromeの拡張機能を作るのは簡単です。 今回は、普段の業務の効率を上げるのも兼ねて自作してみました! 最低限準備するもの manifestファイル Javascriptファイル ぶっちゃけ、これだけで動きます。 実際に作ってみよう それでは実際に作成していきましょう。 今回はDとVを押すだけで、Markdownのリンクを作成する拡張機能を作成していきます。 まずは、manifestファイルから設定していきます! manifestファイル を参考にして、備忘録も兼ねて説明していきます。 今回は、最低限の設定を行います。 { "manifest_version": 3, "name": "Create markdown link", "version": "1.0.0", "icons": { "16":

はじめに 二値分類の評価指標について 「AUCとGini係数ってどんな関係だっけ？」 と毎回忘れては調べているので、いい加減覚える意味で体系的にまとめてみる。 この記事では AUCとは何か？ Gini係数とは何か 両者はどんな関係があるか？ を理解することを目的とする。 最初に結論 AUCとGini係数の間には の関係がある。 AUCは0.5から1の範囲を取るため、Gini係数は0から1までの範囲を取る。 どちらも値が大きいほど分類性能が良いことを表す。 最終的にこの式を理解することを目的としよう。 AUCを理解しよう AUC （Area Under the Curve）は二値分類における有名な評価指標の一つであり、文字通り、「ROC曲線下の面積」を表す。 ROC曲線とは？ ROC (Receiver Operating Charastaristic Curve)は受信者操作特性と呼ばれる

これは何？ NGK2024Sの発表資料です。 自己紹介 名前: 中西克典 X(Twitter): @n_kats_ 機械学習名古屋研究会主催 NGK発表は2回目 機械学習名古屋研究会 論文読み会 毎月第3木曜（19:00～）オンラインで 次回（2月15日第71回）・・・https://machine-learning.connpass.com/event/308186/ 本編 イントロ（研究会の表の目的） 論文を読む習慣付け 知識のアップデート 発展的・実践的な知見の獲得 イントロ（研究会の裏の目的） この世の真理と呼べるものを全て知りたい。 という話を2年前のNGKでした。 おさらい（2年前の話） 読み上げソフトを使うと機械学習の論文が30分で再生できる。 ある分野の概要を把握する目安の論文50本には約3日あればよい。 2年前の課題 読み上げられてる文章を目で追いかけないといけない。つら

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ご無沙汰しております。 最近、猫ミームを見るのハマってしまって時間を確保できておりませんでした。 先日、株式会社サイカ様で開催されたJulia Tokyoに参加してきましたが、大学の教授や著者の方、学生や業務にJuliaを使用している方と出会え、いろいろな話をさせていただき大変有意義な時間を過ごすことができました。外国人の方とも知り合えて、家が近いので今度飲みに行く約束をしました（メールが来た。）。 さて、Julia Tokyoを終えてプログラミングのモチベが非常に高い今、Juliaの勉強をするぞ！！！と言いたいところですが、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ビジネスの重要指標をモニターするために、ダッシュボードを作ったものの、時間の経過と共に、誰にも見られなくなってしまう、といった経験はありませんか？ そうなってしまう理由の1つに、そこから得られる情報がビジネスの改善に結びつかない、あるいは特定のアクションに結びつかないため、ダッシュボードの閲覧者にとってあえて見る必要がなくなってしまうことがあります。 そこで、ダッシュボードの閲覧者に役立つ効果的なダッシュボードを作成するうえで、おさえるべき4つのポイントを紹介いたします。 1. モニターすべきは遅行指標でなく先行指標です 「売上」、「閲

それ，numpy で書かない？--6-- Python ではリストがよく使われる。また，for ループが遅いのでリストに特化したリスト内包表記も推奨されることが多い。 それなりの根拠があるからではあるが... 課題：リストではなく二次元配列を使う。 リストをうまく操ろうとしてリスト内包表記を濫用すると，とても見通しの悪い，醜いプログラムになる。 副次効果：他の部分のプログラムもシェープアップされる。 以下に，奇数魔方陣を作って，正しいかどうか検証するプログラムを二通り書いて比較してみる。 1. リストとリスト内包表記を使う def generate_odd_magic_square(n): magic_square = [[0] * n for _ in range(n)] num = 1 i, j = 0, n // 2 while num <= n * n: magic_square[

はじめに Lambda Web Adapterという、HTTPで動くコンテナに対して仲介してLambdaで動くようにしてくれるツールがあります。 これを使って、Rのplumberをコンテナにして動かしてみました。 以前Lambdaで、plumberのようなRのREST APIを作りましたが、Lambda Web Adapterを使えば、plumberを使えるのでかなり楽です。 概要 Lambda非サポートのRを、Lambda Web Adapterを用いて実行 Webアプリを対象としているので、plumberを使用 参考 やってみた 環境はCloud9のm5.largeを使いました。t3.smallでもできますが、docker buildの時間が(m5.largeであれば)6分程度ですが、(t3.smallだと)10分以上かかります。 ECRへのPUSHまで 過去の記事を参考に、ECRへの

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに お世話になっております。 猫ミームを見すぎて、X(旧Twitter)もYoutubeも猫ミームだらけになってしまい危機感を感じています。 さて、前回書いた記事をもとにReflex、Solara、Taipyを使用して、Webアプリケーションを弄っていましたが、まったく理解できずに 僕「Streamlitしか勝たん。」 と心の中に住んでいるギャルがつぶやいていたところ、コメントでStreamsyncというフレームワークがあることを教えていただきました。 Streamlitのパチモンか？と気になりながら、調べてみるとJuliaのGe

はじめに RSS対応のサイトだと、更新情報追いやすいけど、RSS非対応のページも追いたいよね。って人向けの記事です。 RSS対応しているサイトなら、RSSリーダーを使った方が早いです また、Discordのチャンネルにも通知がしたかったので、メールとDiscord両方に通知を行っています。 Discord側にWebhook用のURLが必要ですが、本記事では紹介しません 参考サイトのZennの記事が細かく書かれていますので、そちらをご覧ください なお、この仕組みは更新を検知したいサイトに確認リクエストを送ります。 高頻度で設定してしまうと、サーバーに負荷がかかる為、 高頻度での設定はしないようにお願いします 参考サイト 構成図 コードについて(Lambda) コードについては、基本的に、クラスメソッドさんの記事を参考にしています Discordの通知部分については、AmazonBedrock

お疲れ様です。 前週に投稿した下記の記事について、多くの方に「いいね」、「ストック」していただきました。 皆さん、本当にありがとうございます。 今日は「Python だけで作る Web アプリケーション(フロントエンド編)の設計方針」について部分いたします。 本章ではこれまでの章の内容を踏まえて、設計方針を紹介します。 設計方針は 「積極的に TypeHint を活用すること」 「責務を明確に分け、適切な粒度でオブジェクトを分割すること」 「バックエンドの存在を前提にすること」の 3 つです。 TypeHint を活用する TypeHint とは以下のように変数や戻り値の型をヒントとして記述することです。 これはあくまでヒントなので実行時にその型を強制するわけではありません。つまり実行時にadd("1", "2")と書いても、文字列結合されて 12 になり期待する挙動ではありませんが、異常

この前までの私のちょっと時間のかかるバッチ実行の日常 「よっしゃー、今日はバッチ処理やるで！」と気合い入れて、タタタタッターン（bash xxxx.sh + Enter）。 おっと、またやらかしたわ。コマンドの末尾に&つけんの忘れたら、プロセスがフォアグラウンドで動いてまうねん。 これやと、ターミナルがこのタスクに独り占めされてまうわ。 この状況をどうにかするには、Ctrl+Cでプロセスを止めてからやり直すか、それとも別のターミナルウィンドウを開くしかないねん。めっちゃ面倒くさいなあ。 今後の私のちょっと時間のかかるバッチ実行の日常 「さて、本日はバッチ処理の実施日でございますね」と心に留めました。 タッタタタッターン。 あら、不覚にも再び&を添え忘れてしまい、結果としてフォアグラウンドでの実行を余儀なくされました。 しかし、ご心配なく。 まずは、Ctrl+Zを駆使してプロセスを一時停止い

はじめに みずほリサーチ＆テクノロジーズの @fujine です。 Pythonのリストってとても便利ですよね。可変長で任意のオブジェクトを保存できるため、シーケンシャルなデータなら何でもリストで実装したくなる気持ち、分かります。 でもちょっと待ってください！リスト以外にも便利なコレクション型があること、ご存知でしょうか？コレクション型を適切に使い分けることで、 プログラムの意図を（ドキュメントに頼らなくても）読み手に的確に伝えられる パフォーマンスが向上する などの効果が期待できます。 そこで本記事では、Pythonの組み込み型や標準ライブラリを対象に、リストと似たコレクション型をどのように使い分けるか？の案をフローチャート化しました。それぞれの特徴や使い方を、次章にて解説していきます。 用語の整理 先に、解説で使用する用語をざっくり整理します。 コレクション(Collection)型

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?