ç„¡æ–™ã¦ã‚™ç°¡å˜ã«éŸ³å£°æ›¸ãèµ·ã“ã—AIã‹ã‚™ä½¿ãˆã‚‹Webアプリを作ã£ãŸï¼šGoogle Colabã¦ã‚™å®Ÿè£…ã™ã‚‹Whisper v3
Whisperã¯ã€ChatGPTã§çŸ¥ã‚‰ã‚Œã‚‹OpenAIã«ã‚ˆã£ã¦é–‹ç™ºã•ã‚ŒãŸéžå¸¸ã«æ£ç¢ºãªéŸ³å£°èªè˜ãƒ¢ãƒ‡ãƒ«ã§ã€ä¼šè©±ã®éŸ³å£°ã‚’テã‚ストã«æ›¸ãèµ·ã“ã—ã¦ãれる。 100万時間以上ã®ãƒ‡ãƒ¼ã‚¿ã§ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã•ã‚ŒãŸæœ€æ–°ã®AIモデルã ãŒã€é©šãã¹ãã“ã¨ã«ã‚ªãƒ¼ãƒ—ンソースã§å…¬é–‹ã•ã‚Œã¦ã„ã‚‹ãŸã‚ã€èª°ã§ã‚‚ã€ç„¡æ–™ã§ã€ç°¡å˜ã«åˆ©ç”¨ã™ã‚‹ã“ã¨ãŒã§ãる。 有料ã®éŸ³å£°æ›¸ãèµ·ã“ã—サービス・è°äº‹éŒ²æ›¸ãèµ·ã“ã—サービスã¯æ•°å¤šãã‚ã‚‹ãŒã€å®Ÿã¯ç„¡æ–™ã®Whisperを使ãˆã°å分ã 。 ã‚€ã—ã‚ã€Whisperã®æ–¹ãŒæ®†ã©ã®éŸ³å£°èªè˜ã‚½ãƒ•ãƒˆã‚ˆã‚Šç²¾åº¦ãŒé«˜ã„ã ã‚ã†ã€‚ ã¨ã¯ã„ãˆã€ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ã®çŸ¥è˜ãŒãªã„人ã«ã¨ã£ã¦ã¯ã€å°‘ã—利用ã™ã‚‹ãƒãƒ¼ãƒ‰ãƒ«ãŒã‚る。 ãã“ã§ã€Whisperã®æœ€æ–°ãƒ¢ãƒ‡ãƒ«ï¼ˆWhisper v3）をã€ç°¡å˜ã«ä½¿ãˆã‚‹å°ã•ãªWebアプリã«ã—ã¦ã¿ãŸã®ã§ã€ã“ã®è¨˜äº‹ã§ä½¿ã„方を紹介ã™ã‚‹ã€‚ Whisperã‚’ã€Google Colabã¨ã„ã†GoogleアカウントをæŒã£ã¦ã„る人ãªã‚‰èª°
OpenAIã®æœ€æ–°éŸ³å£°èªè˜AI「Whisperã€APIを高速・簡å˜ã«è©¦ã›ã‚‹Google Colabノートを作ã£ãŸ
OpenAIãŒé–‹ç™ºã—ã¦ã„る「Whisperã€ã¯ã€ã‚らゆる言語ã§äººé–“ã®ä¼šè©±éŸ³å£°ã‚’æ–‡å—èµ·ã“ã—ã§ãる高性能ãªSpeech-to-textモデルã 。 Whisperã¯ã‚ªãƒ¼ãƒ—ンソース化ã•ã‚Œã¦ãŠã‚Šã€ãƒ¢ãƒ‡ãƒ«ã‚’ダウンãƒãƒ¼ãƒ‰ã™ã‚Œã°ã€ç„¡æ–™ã§ã€èª°ã§ã‚‚利用ã§ãる。 ã—ã‹ã—ã€å®Ÿç”¨ä¸Šã®å¤§ããªå•é¡ŒãŒã‚る。 ãã‚Œã¯ã€æ–‡å—èµ·ã“ã—ã«ã¯ç›¸å½“ãªGPUパワーをè¦ã—ã€ä¸€èˆ¬çš„ãªPCã§ã¯æ™‚é–“ãŒã‹ã‹ã‚Šã™ãŽã‚‹ã¨ã„ã†ç‚¹ã 。 ãã“ã§å½“ブãƒã‚°ã§ã¯ã€Google Colaboratoryã®ç„¡æ–™ã®GPUインスタンスã§ã€Whisperを利用ã™ã‚‹ãƒŽãƒ¼ãƒˆãƒ–ックを公開ã—ã¦ã„る。ã—ã‹ã—ã€Google Colabã®ç„¡æ–™ãƒ—ランã§ä½¿ãˆã‚‹GPUã§ã¯è¶…高速ã¨ã¯ã„ã‹ãšã€æ•°å分ã®éŸ³å£°ã‚’日常的ã«æ–‡å—èµ·ã“ã—ã™ã‚‹ã‚ˆã†ãªå ´åˆã€ã‚„ã¯ã‚Šå®Ÿè¡Œé€Ÿåº¦ãŒã‚¹ãƒˆãƒ¬ã‚¹ã«ãªã‚‹ã€‚ ãã‚“ãªã‚¹ãƒ”ードé‡è¦–ã ãŒç²¾åº¦ã‚’è½ã¨ã—ãŸããªã„ã€ã¨ã„ã†äººã«ãŠã™ã™ã‚ãªã®ãŒã€OpenAIãŒæä¾›ã™ã‚‹APIを経由ã—ã¦ã€Whisper
google colab ã§ãƒã‚°å‡ºåŠ›ç„¡ã—ã§é€²æ—を表示ã™ã‚‹ - Qiita
1.ã¯ã˜ã‚ã« google colab ã§ãƒ©ã‚¤ãƒ–ラリã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ãªã©ã‚’è¡Œã†ã¨ãã€å ´åˆã«ã‚ˆã£ã¦ã¯é•·ã€…ã¨ãƒã‚°ã‚’出力ã™ã‚‹ã“ã¨ãŒã‚ã‚Šã¾ã™ã€‚ã“ã‚Œã¯ã‚¹ãƒžãƒ¼ãƒˆã§ãªã„ã§ã™ãŒã€ãƒã‚°ã‚’出力ã•ã›ãªã„ã¨ä»Šåº¦ã¯é€²æ—ãŒå…¨ã分ã‹ã‚‰ãªã„。ã§ã¯ã€ã©ã†ã™ã‚Œã°è‰¯ã„ã‹ã€‚ 2.å¯¾ç– tqdm.notebook ã¨ã€€ io.capture_output() を下記ã®ã‚ˆã†ã«çµ„ã¿åˆã‚ã›ã¾ã™ã€‚処ç†ãƒ–ãƒãƒƒã‚¯ãŒA〜Dã®ï¼”ã¤ã ã¨ã—ãŸã‚‰ã€å„ブãƒãƒƒã‚¯ã®çµ‚ã‚ã‚Šã« pbar.update(*) ã§é€²æ—率を記載ã—ã€åˆè¨ˆ100ã«ãªã‚‹ã‚ˆã†ã«ã—ã¦ãŠã‘ã°OKã§ã™ã€‚ å„ブãƒãƒƒã‚¯ãŒçµ‚ã‚る㨠pbar.update(*) ã§è¨å®šã—ãŸåˆ†ãƒ—ãƒã‚°ãƒ¬ã‚¹ãƒãƒ¼ãŒå¢—ãˆã¾ã™ã®ã§ã€å¤§ä½“ã®é€²æ—ãŒï¼‘è¡Œã§åˆ†ã‚Šã¾ã™ã€‚ from IPython.utils import io import os import subprocess import tqdm.notebook TQDM_BAR_F
Google Colabã«MeCabã¨ipadic-NEologdをインストールã™ã‚‹ - Qiita
1.ã¯ã˜ã‚ã« Google Colab ã« MeCab 㨠ipadic-NEologd をインストールã—よã†ã¨æ€ã£ãŸã‚‰æ„外ã«æ‰‹é–“å–ã£ãŸã®ã§å‚™å¿˜éŒ²ã¨ã—ã¦æ®‹ã—ã¾ã™ã€‚ 2.コード 色々ãªWebæƒ…å ±ã‚’æ¼ã£ãŸçµæžœã€ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã«ã¯ä¸‹è¨˜ã®ã‚³ãƒ¼ãƒ‰ãŒãƒ™ã‚¹ãƒˆã§ã¯ãªã„ã‹ã¨æ€ã„ã¾ã™ã€‚ # å½¢æ…‹ç´ åˆ†æžãƒ©ã‚¤ãƒ–ラリーMeCab 㨠辞書(mecab-ipadic-NEologd)ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« !apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null !git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null !echo yes | mecab-ipadic-
ChatGPTã§ç‹¬è‡ªãƒ‡ãƒ¼ã‚¿ã‚’å¦ç¿’ã•ã›ã¦å›žç”ã—ã¦ã‚‚らã†æ–¹æ³• - Qiita
ChatGPT,使ã£ã¦ã„ã¾ã™ã‹ï¼Ÿ ChatGPTã¯æ–‡ç« ã‚’è¦ç´„ã—ãŸã‚Šã€ãƒ—ãƒã‚°ãƒ©ãƒ 作ã£ã¦ãã‚ŒãŸã‚Šã€ä¸€ç·’ã«ãƒ–レストã—ã¦ãã‚ŒãŸã‚Šã—ã¦æœ¬å½“ã«ä¾¿åˆ©ãªã®ã§ã™ãŒã€ç¤¾å†…æƒ…å ±ãªã©ã®ç‹¬è‡ªãƒ‡ãƒ¼ã‚¿ã«é–¢ã™ã‚‹æƒ…å ±ã«ã¤ã„ã¦ã¯å›žç”ã—ã¦ãã‚Œã¾ã›ã‚“。 プãƒãƒ³ãƒ—トã«æƒ…å ±ã‚’è¨˜è¿°ã—ã¦ã€ãã“ã«æ›¸ã‹ã‚Œã¦ã„ã‚‹æƒ…å ±ã‹ã‚‰å›žç”ã—ã¦ã‚‚らã†æ–¹æ³•ã‚‚ã‚ã‚Šã¾ã™ãŒã€æœ€å¤§ãƒˆãƒ¼ã‚¯ãƒ³4000ã®å£ãŒã‚ã‚Šã¾ã™ã®ã§ã€é™ç•ŒãŒã‚ã‚‹ã‹ã¨æ€ã„ã¾ã™ã€‚ ã“ã®èª²é¡Œã«ã¤ã„ã¦ãªã‚“ã¨ã‹ãªã‚‰ãªã„ã‹ã¨è€ƒãˆã¦è‰²ã€…ã¨èª¿ã¹ã¦è¦‹ãŸã¨ã“ã‚ã€è§£æ±ºã™ã‚‹æ–¹æ³•ãŒè¦‹ã¤ã‹ã‚Šã€ã„ã‚ã„ã‚ã¨æ¤œè¨¼ã‚’ã—ã¦è¦‹ã¾ã—ãŸã®ã§ãã®çµæžœã‚’シェアã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ サンプルコード（GoogleColab） 百èžã¯ä¸€è¦‹ã«ã—ã‹ãšã¨ã„ã†ã“ã¨ã§ã€å®Ÿéš›ã«è©¦ã—ãŸã‚µãƒ³ãƒ—ルã¯ä»¥ä¸‹ã«ã‚ã‚Šã¾ã™ã®ã§ã€ã¾ãšã¯å‹•ã‹ã—ã¦ã¿ã‚‹ã“ã¨ã‚’ãŠå‹§ã‚ã—ã¾ã™ã€‚ ã“ã®ã‚³ãƒ¼ãƒ‰ã‚’上ã‹ã‚‰é †ç•ªã«å‹•ã‹ã™ã¨ã€å®Ÿéš›ã«ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆä¸Šã‹ã‚‰å–å¾—ã—ãŸPDFファイルã«é–¢ã™ã‚‹å†…容をChatGPTãŒå›žç”ã—ã¦
Google Colaboratoryã§ã®ãƒ•ã‚¡ã‚¤ãƒ«èªã¿è¾¼ã¿æ–¹æ³• | ã†ã—ã˜ã®ãƒ–ãƒã‚°
ã“ã‚“ã«ã¡ã¯ï¼ã†ã—ã˜ã§ã™ã€‚ ç„¡æ–™ã§GPUを利用ã§ãã‚‹ã¨ã„ã†Google Colaboratoryを使ã£ã¦ã¿ã¾ã—ãŸã€‚今回ã¯ã€ãã®ãƒ•ã‚¡ã‚¤ãƒ«èªã¿è¾¼ã¿æ–¹æ³•ã«ã¤ã„ã¦ã¾ã¨ã‚ã¦ã„ã¾ã™ã€‚ ファイルã®èªã¿è¾¼ã¿ã¯ã€ä¸‹è¨˜ã®3ã¤ã®æ‰‹é †ã§è¡Œã„ã¾ã™ã€‚Deep Learningã§ã¯ã€ç”»åƒãƒ•ã‚¡ã‚¤ãƒ«ã‚„音声ファイルç‰ã®ã‚µã‚¤ã‚ºã®å¤§ããªãƒ•ã‚¡ã‚¤ãƒ«ã‚’扱ã„ã¾ã™ãŒã€Google Colabã§ã¯ã€ã“れらã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’Google Driveã«ç½®ã„ã¦æ‰±ã„ã¾ã™ã€‚ Google Colabã§ã€Google Driveをマウント Google Driveã«ã€å¯¾è±¡ã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’アップãƒãƒ¼ãƒ‰ Google Colabã§ã€å¯¾è±¡ã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’èªã¿è¾¼ã‚“ã§åˆ©ç”¨ Google Colabã®ã¯ã˜ã‚æ–¹ã‹ã‚‰é †ã«èª¬æ˜Žã—ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ Google Colabã®ã¯ã˜ã‚æ–¹ Google Colabã¯ã€ç„¡æ–™ã§åˆ©ç”¨å¯èƒ½ã§ã™ã€‚下記ã®ãƒªãƒ³ã‚¯ã«ã‚¢ã‚¯ã‚»ã‚¹ã™ã‚Œã°ã€ä½¿ã†ã“ã¨ãŒã§ãã¾ã™ã€‚
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Google Colab
How to count tokens before sending an API request to ChatGPT
GitHub - openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI's models.
{{#tags}}- {{label}}
{{/tags}}