Introducing StarCoder StarCoder and StarCoderBase are Large Language Models for Code (Code LLMs) trained on permissively licensed data from GitHub, including from 80+ programming languages, Git commits, GitHub issues, and Jupyter notebooks. Similar to LLaMA, we trained a ~15B parameter model for 1 trillion tokens. We fine-tuned StarCoderBase model for 35B Python tokens, resulting in a new model th

Releasing 3B and 7B RedPajama-INCITE family of models including base, instruction-tuned & chat models The RedPajama project aims to create a set of leading open-source models and to rigorously understand the ingredients that yield good performance.  A few weeks ago we released the RedPajama base dataset based on the LLaMA paper, which has galvanized the open-source community. The 5 terabyte datase

めちゃくちゃ分かりやすい機械学習の講義で有名なAndrew NgさんとOpenAIのIsa Fulfordさんが無料で提供しているChatGPT Prompt Engineering for Developersというコンテンツが面白かったので、内容をまとめてみました。 （注）大規模言語モデル（LLM）を利用したアプリケーションを開発する開発者向けのコンテンツなので、ChatGPTのUIで扱うようなゴールシークプロンプトといったようなプロンプトテクニックを扱うものではないことをご承知置きください。 最も重要なポイント自身の開発するアプリケーションに適したプロンプトを開発するためのプロセスを持つこと。 インターネット上にあるような「完璧なプロンプト30選」のようなコンテンツをアテにして、1回で成功させようなんて思わないこと。もし1回目でうまくいかなくても、例えば指示が十分に明確でなかった、あ

はじめに idea カテゴリで投稿するか迷いましたが、一応 ChatGPT へリクエストを投げる GAS のコードも紹介しているので、tech 記事で投稿することにしました。 ほしかったもの Qiita には急上昇記事を紹介する公式アカウントが存在しています。 が、Zenn には公式のそれが存在していませんでした。 一応公式アカウントがピックアップとして紹介しているものの、おそらく手動。(そう思うのは、GW 前から更新が止まっているから) とにかく一番欲しかったものは、Zenn の人気記事を数時間間隔で教えてくれるなにかでした。 そしてどうせなら Qiita の記事も紹介する機能をつけようと思いました。 "なにか"には Slack や LINE bot という選択肢があったのですが、しかし単に記事だけを紹介しつづける無機質な bot は可愛くないと思っていました。 せっかく"私"が作るのな

私は個人でwebツールを開発したりその手順を公開する弱小のコンテンツ提供者です。 あれどうよ。個人開発でも企業でもいいけど、コンテンツ提供者としてどう思う？私の感想はこんな感じです。 いちゃもんに話の腰を折られたくないので先に言っとくけど、私は変化には寛容な方なのでグチとかじゃなくて現状認識です。 ・広告収入モデルはほぼ終わり 広告収入モデルとは、情報やサービスを無料でユーザーに提供するから広告を見る(またはクリック、成約する)ことで対価を企業に支払ってもらうことだと認識している。しかし、bingでは情報はAIにまとめられるので、情報提供では広告収入が得られなくなると感じた。 ・アッパーとボトム以外は淘汰 bingの回答は「〜が一般的です」と「詳しくはこちら」で構成される。今までは検索ワードから提案される10〜20のサイトから、自分に合うサイトを選ぶため「検索ワードの組み合わせ数×ユーザー

米Microsoftは5月4日（現地時間）、2月に限定プレビューした「新しいBing」を「オープンプレビュー」に移行し、ウェイティングリストに登録せずに誰でも利用できるようにした。また、多数の新機能も発表した。新機能の詳細は、23日から開催の年次開発者会議「Build 2023」で発表する計画だ。 MicrosoftアカウントでBingにサインインするだけで、誰でも新しいBingとEdgeを使えるようになった。 主な新機能を以下に紹介する。本稿執筆現在、筆者の環境ではまだ使えないものもあり、それがロールアウト中だからなのか、米国限定なのかは不明だ。Buildでより具体的な説明があると期待したい。 回答がよりビジュアルに これまでBingチャットの回答はテキストのみだったが、質問内容によっては画像や動画も盛り込まれるようになる。 また、質問に画像や動画のURLを含めると、それらに関して説明す

はじめに DeepLearning.AIからPrompt Engineeringの講座「ChatGPT Prompt Engineering for Developers」が公開されました。なんとAndrew Ng氏(スタンフォード大学)とIsa Fulford氏(OpenAI)が講師。そして無料。 対象は初心者から上級者まで、計1時間ほどの動画で、実際に動かせる教材もセットになっており、教材の内容に目を通すだけでも参考になりました。サイト上では「期間限定無料」となっていたので、早めに覗いてみてください（2023/5/3時点） 以下、各パートのキーワードとメモです。 詳細はぜひぜひDeepLearning.AIの講座 をご覧ください！ ※印の部分が個人的な感想で、それ以外はレッスン内容の抜粋です。 （追記）始める前に @segavvy さんの記事。始め方や画面の説明、日本語で見るコツが書か

令和の技術革新とも言える話題の生成AIツールOpenAI社の「ChatGPT」とMicrosoftの「Bing AI」、LINEの「AIチャットくん」の三つのサービスを使ってみて比較してみた。検証したお題は「創作・物語の生成」「辞書的な回答」「読書感想文」「プログラムの修正」の四つ。その結果はいかに。AIチャットの使い方を含めて紹介しよう。 今回比較に用いるAIチャットサービスは、どれもGPT-4系列のサービスで元となっている言語モデルは同じだ。比較するAIチャットサービスは次の三つ。 ChatGPT｜OpenAI https://chat.openai.com/chat Bing AI｜Microsoft https://www.microsoft.com/edge/launch/newBinginEdgeAnswer ※Microsoft Edgeブラウザ（アプリ）でのみ利用可能 AI