気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
.NETのライブラリでトークン数をカウントする - JBS Tech Blog
1 user
blog.jbs.co.jp
blog.jbs.co.jp
blog.jbs.co.jp
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
先日 .NET9がリリースされました。リリースノートを見ていると、気になる更新がありました。Microsoft.M... 先日 .NET9がリリースされました。リリースノートを見ていると、気になる更新がありました。Microsoft.ML.Tokenizersが追加されたとのことです。 learn.microsoft.com OpenAIを利用したアプリケーションでトークン数をカウントしたいことは結構あります。これがあればC#でもカウントできて便利そうだったので、調べてみました。 環境 Microsoft.ML.Tokenizers 1.0.0 コンソールアプリ（.NET 8） 使ってみた 以下のページの手順を参考に、実際に使ってみました。 www.nuget.org プロジェクトにパッケージMicrosoft.ML.Tokenizersをインストールして以下のコードを実行してみました。 using Microsoft.ML.Tokenizers; //モデル名を指定してTokenizerを作成 Tokeni
blog.jbs.co.jp
blog.jbs.co.jp
blog.jbs.co.jp
blog.jbs.co.jp
togetter.com
www.yomiuri.co.jp
jp.reuters.com
anond.hatelabo.jp
www.watch.impress.co.jp
dev.classmethod.jp
www3.nhk.or.jp
www.bloomberg.co.jp
tech.repro.io
gigazine.net
levtech.jp
zenn.dev/aldagram_tech
www.sankei.com
nosql.mypopescu.com
niryuu.hatenablog.com
news.yahoo.co.jp
2025/01/07 リンク