フリーで使える日本語の主な大規模言語モデル（LLM）まとめ
ありがとうございます！ 実は私本人がそのモデルの構築に関わっているのですが、詳細はまだ言えない状況です...。 来年3月の言語処理学会年次大会(NLP2023)での続報をお待ちください！このモデルに関する論文が公開される予定です（一応それを待ってからこの記事にも掲載します）。 （私が書いたものではありませんが、現段階で公開できる情報をまとめた記事があります: https://note.com/utokyo_itc/n/nb18b2a753f23 ）
ありがとうございます！ 実は私本人がそのモデルの構築に関わっているのですが、詳細はまだ言えない状況です...。 来年3月の言語処理学会年次大会(NLP2023)での続報をお待ちください！このモデルに関する論文が公開される予定です（一応それを待ってからこの記事にも掲載します）。 （私が書いたものではありませんが、現段階で公開できる情報をまとめた記事があります: https://note.com/utokyo_itc/n/nb18b2a753f23 ）
敵対的プロンプト技術まとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは@fuyu_quantです。 この記事はLLM Advent Calender 2023 17日目の記事です。 よかったらプライベートで作成したData Science wikiのGPTsも見て下さい！ はじめに 今回は敵対的なプロンプト技術についてまとめました．まとめ方は主に，Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
GitHub - dair-ai/Prompt-Engineering-Guide: 🐙 Guides, papers, lecture, notebooks and resources for prompt engineering
Prompt engineering is a relatively new discipline for developing and optimizing prompts to efficiently use language models (LMs) for a wide variety of applications and research topics. Prompt engineering skills help to better understand the capabilities and limitations of large language models (LLMs). Researchers use prompt engineering to improve the capacity of LLMs on a wide range of common and
"Everything is true," he said. "Everything anybody has ever thought." この記事は ABEJAアドベントカレンダー2023 の 17 日目の記事です。 こんにちは。システム開発部の石川 (@ishikawa) です。昨年のいまごろは Objective-C ばかり書いていましたが、今年は念願の Swift で QR コードリーダーを書き直したり、React Native の C++ コードをデバッガで追いかけて不思議なバグの修正をした年でした。 react-native で 196,607 回 fetch() すると通信できなくなるバグを直した https://t.co/lvNC3PL85b— takanori_is (@takanori_is) 2023年9月21日 普段の業務では TypeScript と Go、Pyt
Get visuals from your text Napkin turns your text into visuals so sharing your ideas is quick and effective.
🤖 • Run LLMs on your laptop, entirely offline 📚 • Chat with your local documents (new in 0.3) 👾 • Use models through the in-app Chat UI or an OpenAI compatible local server 📂 • Download any compatible model files from Hugging Face 🤗 repositories 🔭 • Discover new & noteworthy LLMs right inside the app's Discover page LM Studio supports any GGUF Llama, Mistral, Phi, Gemma, StarCoder, etc model
AI Emoji Generator
AI Emojis Generator�K :�U2,326,036 emojis generated and counting! Generate emoji
About ようこそプロジェクトに貢献するにはGeneral コード補完コメントからコードを生成コードからコメントの自動生成GitHub CopilotとのクイックQ&A正規表現プログラミング言語間の翻訳タイプヒンティング構造化データからのオブジェクト生成コードからドキュメントへClient Side Tips Copilot スニペットハンドリングGitHub Copilot ショートカット定義に移動便利なファイルのピン留めDesign Patterns AI が理解可能な命名規則一貫性のあるコーディングスタイルハイレベルアーキテクチャを先に小さなコードチャンクで作業するコンテキストレス・アーキテクチャ微細な OSS 依存関係の排除Collaboration AIフレンドリーなドキュメンテーションプロンプトとコード生成プロセスのコーチングTesting ユニットテストの作成テストコード生
低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現できるライブラリ、peft がリリースされたことで、試したことがある方も多いと思います。 ただ、LoRAのメリットについて主に学習の話が殆どで、もう一つの大きなメリットであるLLMのベースモデルのメモリを共有しつつ、複数のタスクをこなす方法の紹介は見かけたことがなかったので、それをpeftで行う方法についてのお話です。 なお、LoRAとは何か？というお話は、輪講資料
GitHub Copilot Chatでハッシュ(#)を使ったコンテキスト変数を試してみた | DevelopersIO
はじめに GitHub Copilot Chat で #file, #editorのように # を利用すると、質問と同時に渡したい情報を投げることができる context variables という機能があります。 今回は現在(2024/2/8)までで利用可能な context variables を全て試してみました。 #file : 選択したファイル チャットプロンプトと共にワークスペース内の指定されたファイルをコンテキストとして含めるために#fileを追加しました。入力の提案コントロールから#fileを選択し、表示されるクイックピックからファイルを選択してください。 可能であれば、ファイルの完全な内容が含まれます。コンテキストウィンドウに収まりきらないほど大きい場合は、実装を除いた関数とその説明を含むファイルのアウトラインが含まれます。アウトラインも大きすぎる場合は、ファイルはプロン
LOOSE AI
制作を依頼いただく際に、事前にLOOSE AIを利用いただき、その生成された素材をイラスト制作の参考として活用いただける場合には、制作料金から 最大20%割引 させていただきます。
GitHub - langchain-ai/langchain: 🦜🔗 Build context-aware reasoning applications
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Using GitHub Copilot in your IDE: Tips, tricks, and best practices
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
Clipdrop - Sketch to image
No style Photographic Fantasy Art Origami Isometric Digital Art Comic Book Anime Cinematic Analog Film Neon Punk Pixel Art Low Poly 3D Model Line Art
ithub Easily Ask Your LLM Coding Questions Get Context Or just change the URL one letter! My new favorite thing is GitHub but replace the G with a U, uithub Instant 1 shot copy paste a repo to LLm — Nick Dobos @NickADobos October 4th, 2024 i pass github repo links to cursor a lot when I need help setting something up, but it only reads the readme file until i found this tool: http://uithub.com jus
GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
TypeChat
TypeChat TypeChat helps get well-typed responses from language models to build pragmatic natural language interfaces. All powered through your types.
GitHub - github/gh-copilot: Ask for assistance right in your terminal.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Stability AI has just announced the release of Stable Code Alpha 3B, its very first LLM generative AI product for coding. This product is designed to assist programmers with their daily work while providing a great learning tool for new developers ready to take their skills to the next level. “a colorful parrot with glasses typing away at a computer, flat icon, vector” – SDXL 0.9 Stable Code Alpha
GitHub - mlc-ai/web-llm: High-performance In-browser LLM Inference Engine
In-Browser Inference: WebLLM is a high-performance, in-browser language model inference engine that leverages WebGPU for hardware acceleration, enabling powerful LLM operations directly within web browsers without server-side processing. Full OpenAI API Compatibility: Seamlessly integrate your app with WebLLM using OpenAI API with functionalities such as streaming, JSON-mode, logit-level control,
rl-for-llms.md Reinforcement Learning for Language Models Yoav Goldberg, April 2023. Why RL? With the release of the ChatGPT model and followup large language models (LLMs), there was a lot of discussion of the importance of "RLHF training", that is, "reinforcement learning from human feedback". I was puzzled for a while as to why RL (Reinforcement Learning) is better than learning from demonstrat
GitHub - ollama/ollama: Get up and running with Llama 3.3, Mistral, Gemma 2, and other large language models.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ChatGPTは本当に便利ですね。 ChatGPTは会話形式で答えてもらうだけではなく、プログラムから呼び出して使ってもかなり高精度な答えを返してくれることがわかってきました。こうなってくると使い方無限大です。 今回は、CSVにユーザの自由入力で登録された職業の項目を産業別に分類したいと言ったユースケースを想定して検証を進めました。 たとえば、アンケートなどで職業などを入力してもらう場合、どうしても表記のふれが出てしまいます。（たとえばSE,ソフトウェアエンジニア,プログラマーとか） これを防止するために、ユーザ入力時に予めマスタを用意しておき、プルダウンなどで入力してもらうといったことをすればよいですが、世の中の職業は数えきれないほどあり，マスタを準備するのは大変・・・ 準備できたとしても、あまり選択肢の数が多いと今度は入力者がそこから選ぶのが不可能になってきてしまいます。 とりあえず情
GitHub - confident-ai/deepeval: The LLM Evaluation Framework
DeepEval is a simple-to-use, open-source LLM evaluation framework, for evaluating and testing large-language model systems. It is similar to Pytest but specialized for unit testing LLM outputs. DeepEval incorporates the latest research to evaluate LLM outputs based on metrics such as G-Eval, hallucination, answer relevancy, RAGAS, etc., which uses LLMs and various other NLP models that runs locall
はじめに さいきん自然言語処理分野では「自然言語理解」なるものをどう考えるかについて議論があったりします。膨大なパラメータを大量のコーパスで訓練したシステム（ GPT-3 とか）を用いると言語理解が関わるようなさまざまなタスクで高い性能が達成できることがわかってきた今日このごろ、そうしたシステムが本当に「言語理解」なるものを実現しているのかということが焦点です。これは言語理解である、言語理解ではない、そもそも言語理解ってなんやねん……などなど、考えさせられる議論が論文やブログ記事などで展開されています。読んでいても何もわからん……状態になったので、ともかく自分の理解を整理してみようというのがこの記事を書き始めた動機です。 こうした議論から得られる帰結（あるいは教訓）のひとつは、結局は理想的な言語理解なるものを定義しようと試みても決着しないので、具体的にどういった振る舞いがそれに含まれるのか
ChatGPTは「次に来ることば予測機」 ──話題のAIアプリChatGPTは言語学習に活用できるでしょうか。 人間の言語では、わかりやすく、使い回し可能で経済的でありたいという力と、多くの概念を表現することが可能な生産性を持ちたいという、二つの相反する力が常に拮抗しています。さらにそこにアイコン性が加わる。オノマトペは時代によって使用頻度が変わり、アイコン的なことばが減ってきたなと思うと、また増えてくる。言語はアイコン性・経済性・生産性の三つのバランスを取ろうとし、ある要素に偏りすぎると、揺り戻しが来るようになっているようです。人間は言語を身近なところから徐々に習得していくし、言語自体も人間の情報処理システムに合わせて進化していく。 一方のAIはそうではありません。最初から一人の人間には一生かけても扱いきれないほどの巨大な言語データが与えられ、その中で「このことばとこのことばは連続して使
The first major issue is this is not differentiated technology. If you've noticed that one person creates a chat with a PDF app, and then another dozen people do too, and then OpenAI builds that into ChatGPT directly, it's because nobody there actually built something differentiated. They use a simple technique, with a pre-trained model, which anyone can copy in a very short period of time. When b
Text prompt to SVG in less than 10 secondsDiscover the power of AI with our free Text-to-SVG generator! Convert your text prompts into stunning SVG illustrations using our advanced AI technology.
第0章 はじめに この記事は「NTTドコモ R&D Advent Calendar 2023」24日目の記事です。 いよいよ今年も残すところあと1週間と年の瀬が迫ってきましたが、みなさんは今年の技術トレンドと言えば何が思い浮かぶでしょうか？ Web3？ゼロトラスト？はたまた量子コンピューティング？ 私はやはりGPT-4, DALL·E3, GitHub Copilot Xなどに代表される生成AIの普及が強く印象に残っています。 実際、「新語・流行語大賞2023」には「生成AI」「チャットGPT」がノミネートされているということで、世間でも大きなインパクトを残しているようです。 www3.nhk.or.jp ただ、今年の生成AI関連のニュースを振り返ると、必ずしも良いニュースばかりではなかったように思います。 春ごろには画像生成AI Midjourneyの登場で多くの人がこぞって様々な画像を
テレビCMのキャラクターに「AIタレント」を起用して話題を呼んだ伊藤園「お～いお茶 カテキン緑茶」には、実はもう一つ別のAIが使われている。それが、PLUGが開発した「商品デザイン用画像生成AI」だ。お～いお茶 カテキン緑茶では、このパイロット版を使い、パッケージデザインのベースを作成。それをもとにデザイナーがイラストやデザインを作り直すことでパッケージデザインを完成させている。 またたく間に世界中に広がった生成AIを商品パッケージに活用する理由は何か。商品のアイコンとして機能するパッケージデザインにAIはどんな変化をもたらすのか。商品デザイン用画像生成AIを開発し、公益社団法人 日本パッケージデザイン協会理事長も務める、プラグ 代表取締役社長の小川亮氏聞いた。 オリエンから3日後にデザイン案を30案提出 ――商品デザイン用画像生成AIについて教えてください。 画面の中に「ビール」「爽快」
GGML - AI at the edge ggml is a tensor library for machine learning to enable large models and high performance on commodity hardware. It is used by llama.cpp and whisper.cpp Low-level cross-platform implementation Integer quantization support Broad hardware support Automatic differentiation ADAM and L-BFGS optimizers No third-party dependencies Zero memory allocations during runtime The ggml way
Exploring Generative AI
Generative AI and particularly LLMs (Large Language Models) have exploded into the public consciousness. Like many software developers I am intrigued by the possibilities, but unsure what exactly it will mean for our profession in the long run. I have now taken on a role in Thoughtworks to coordinate our work on how this technology will affect software delivery practices. I'll be posting various m
Tech’s hottest new job: AI whisperer. No coding required.
Tech’s hottest new job: AI whisperer. No coding required. 'Prompt engineers’ are being hired for their skill in getting AI systems to produce exactly what they want. And they make pretty good money. Prompt engineer Riley Goodside at Scale AI’s office in San Francisco on Feb. 22. (Chloe Aftel for The Washington Post)
As of July 20, 2023, the AI classifier is no longer available due to its low rate of accuracy. We are working to incorporate feedback and are currently researching more effective provenance techniques for text, and have made a commitment to develop and deploy mechanisms that enable users to understand if audio or visual content is AI-generated. We’ve trained a classifier to distinguish between tex
Datasets
Opt-out request submitted by 09.02.2023 were excluded from this ersion of the dataset as well as initially flagged malicious files (not exhaustive). Datasets and data governance tools released by BigCode #The Stack: Exact deduplicated version of The Stack.The Stack dedup: Near deduplicated version of The Stack (recommended for training).The Stack issues: Collection of GitHub issues.The Stack Metad
RedditのローカルLLM板に以下の投稿があった。週明けに「llama.cpp」で使われているGGMLファイルが「GGUF」という新フォーマットに変更されるとのこと。 フォーマット変更の要点GGUFは、GGMLよりも拡張性の高いファイルフォーマット。「.bin」から「.gguf」になる。 これにより、Llama以外の言語モデル（falcon, rwkv, bloom, etc.）がllama.cppでサポートできるようになる。サポートするモデルは段階的に増える予定。 その他、プロンプトフォーマットをGGUF内に設定しておけるようなったり、rope-freq-baseやgqaなどの一部パラメータが不要になる予定。 破壊的変更であり、既存のggmlモデルは「GGUF #2398」のマージ後は使えなくなる（有志がGGML>GGUFの変換スクリプトを作成中）。 マージは週明け（現地8月21日）を
Understand errors and warnings better with console insights | Chrome DevTools | Chrome for Developers
Ask Gemini to provide insights right in the DevTools Console, so you can better understand errors and warnings. See also How your data is used and Known issues. Requirements To use the console insights feature, make sure that you: Are at least 18 years old and are in one of the supported locations. Are using the latest version of Chrome. Are signed into Chrome with your Google Account. Have Englis
Prompt-Engineering-Guide/guides/prompts-advanced-usage.md at main · dair-ai/Prompt-Engineering-Guide
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to use GitHub Copilot: Prompts, tips, and use cases
GitHub Copilot はどのようにして空気を読むか？ - ABEJA Tech Blog
Napkin AI - The visual AI for business storytelling
LM Studio - Discover, download, and run local LLMs
| GitHub Copilot Patterns & Exercises
LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life
uithub - Easily ask your LLM code questions
Announcing Stable Code Alpha — Stability AI
Reinforcement Learning for Language Models
ChatGPTに表記揺れのある値を自動分類してもらう方法 - Qiita
自然言語理解とそのモデリング - Reproc.pnz
（3ページ目）今井むつみ 言語習得に見る知性の本質｜社会｜中央公論.jp
Don’t Build AI Products The Way Everyone Else Is Doing It
Text to SVG AI Generator | SVG.io
生成AI時代に重要になりそうなCAI/C2PA（コンテンツの来歴証明技術）を読み解いてみた
「お～いお茶 カテキン緑茶」のパッケージをAIが作成--開発したプラグが語る「ダメ出し」に強い理由
ggml.ai
1,000層超えも！超深層トランスフォーマーを実現した DeepNet を解説【論文速報】
New AI classifier for indicating AI-written text
GGMLからGGUFへ：llama.cppのファイルフォーマット変更｜Baku
ja.wikipedia.org
support.withings.com
ja.wikipedia.org
president.jp
news.livedoor.com
support.withings.com