はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度が速い。」という声を良く聞きます。(半分以上X経由なので、よく聞くというよりも良く見るが近いですが、) そこで今回はCommand R+の日本語の応答速度が本当に速いのか、なぜ速いのかについてトークナイザー観点で述べたいと思います。 応答速度とトークナイザーの関係及びCommand R+のトークンナイザー まず前提として、入力あたりのトークン数が少なければ少ないほど応答時間が短くなります。よってトークナイザーは応答速度に大いに関係します。 詳しくは以下の記事で解説しています。少しだけ述べるとトークン数縮小に伴う語彙数増加によるEmbedding層肥大化による速度遅延<<トークン数増加による速度遅延となっています。ELYZAのfastのモデルが速い理由の一つもこの理由です。

はじめに 大規模言語モデルの学習にあたり、大規模なデータセットで学習することが重要ですが、高品質なデータを用いることも重要です。 Webなどから大規模に収集したデータを用いることが一般的ですが、そのままだとかなりノイズが多く、モデルの学習が困難です。 本記事では、言語検出、テキスト正規化、テキストのチャンキング、品質フィルタリングのデータ前処理によりノイズを取り除く方法について解説します。 言語検出 Webから大規模に収集したデータには、様々な言語が含まれます。 日本語をターゲットとした言語モデルの学習のためには、日本語のデータのみを抽出する必要があります。 言語検出のPythonライブラリとして、pycld3やlangdetectが有名ですが、2022/1/11にlinguaがリリースされています。開発者のベンチマークによると、性能は他のライブラリと比べて高いです。 特にpycld3はp

ChatGPTを皮切りとしたAIブーム。流石にちょっと過熱気味になってきた印象があります。 中でも気になるのは「AutoGPT」の話題。Twitter上だと、 他にも、AgentGPTを使って「AutoGPTすごい！AGIだ！」としている投稿を多く見かけました。 ですが、「AgentGPTはAuto-GPTのブラウザ版」ではありません（少なくとも2023年4月15日時点は）。 両者とも似たアプローチはとっていますが、Auto-GPTは 「GPT-4に情報探索・処理や長期記憶の手段を持たせている」 という点が大きく異なります。 AgentGPTは、 ユーザーが設定したゴールをAIにいくつかの問い（タスク）に分解させる それぞれの問いに回答を出させ、その結果を踏まえて追加で必要な問いを考えさせてタスクリストに追加する という自問自答のループを回すことで思考を深めています。 一方、Auto-GP

「Mistral」「Llama 2」「Vicuna」などオープンソースの大規模言語モデルを簡単にローカルで動作させることが可能なアプリ「Ollama」の公式Dockerイメージが登場したので、早速使い勝手を試してみました。 Ollama is now available as an official Docker image · Ollama Blog https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image Ollamaで動作可能な大規模言語モデルの代表例は下記の通り。リストの全体についてはOllamaの公式サイトで確認することができます。 モデルパラメーターサイズDownloadMistral7B4.1GBollama run mistralLlama 27B3.8GBollama run ll

はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ

インフラチームの西川です。 当社ではGitHubを利用しています。いろいろ便利な機能があるのですが社内でコマテクを募集してみたところ意外と知らないものがあったので共有してみます。 行動の見える化 特定コミットのリンク取得 通知 行動規範 ガイドライン .github リポジトリ テンプレートリポジトリ タグをたくさんプッシュさせない ドラフトプルリクエスト チケットの自動リンク化 ベースブランチの更新を取り込む まだレビューが終わってないプルリクエストの一覧化 レビュアーの自動割り当て コードの所有者 ファイル単位でレビュー済みをチェックする レビュー中のファイルを全部閉じる 具体的な修正を提案する レビューコメントをラベル化 デプロイ管理 リリースノートを自動作成 行動の見える化 以下の設定をすることで、GitHub上の行動を見える化することができます。 docs.github.com

はじめに FastAPIはPythonのWEBフレームワークで、同じ分類のフレームワークとしてFlaskやDjangoなどが挙げられます。FlaskとDjangoはよく比較され、Flaskが最小限のコードで書き始められるシンプルなマイクロフレームワークと呼ばれるのに対し、Djangoはログイン機能、データベース管理などが初めから備わっておりフルスタックフレームワークと呼ばれています。 FastAPIはFlaskと似ているマイクロフレームワークで公式ドキュメントでは次のように紹介されいます。FastAPI は、Pythonの標準である型ヒントに基づいてPython 3.6 以降でAPI を構築するためのモダンで高速(高パフォーマンス)な、Web フレームワークです。[1] 本記事では、以下の内容を扱います。 特徴である型ヒントとそれにより実現できるAPIドキュメントの自動生成 SQLAlch

DevSecOpsチームの前野です。 社内AWS開発環境の一部についてTerraformerを使いIaC化する検証を行いましたので、その手順や気付いたことを紹介します。 検証の背景 IaCとは、Infrastructure as Codeの略でインフラの構成管理をコードで行う手法を指します。そして、手動で作成したクラウドのインフラ環境をコードで表現し、バージョン管理ツールなどで管理可能な状態にすることを既存環境のIaC化と定義します。 利用している開発環境では、新規に作成するクラウドリソースはIaCを使って管理するのですが、昔からあるクラウドリソースは手動で作成しパラメーターもエクセルで管理していました。そのため、古いクラウドリソースもIaCによる運用を行いIaCのメリットを享受するべく今回の検証を行いました。IaCのメリットには、構築の自動化や設計の再利用、およびコードをバージョン管理す

MacへのTerraform環境導入として、tfenvとgit-secretsの設定方法をまとめました。 こんにちは！コンサル部のinomaso(@inomasosan)です。 AWS環境構築でTerraformを入社前から使用していたのですが、改めて新規環境を導入した際に意外と手こずってしまったので、備忘も兼ねてブログに手順を残すことにしました。 環境 macOS Catalina 10.15.7 Homebrew 2.7.3 tfenv設定 tfenvはTerraformのバージョンマネージャーです。 Terraformは頻繁にアップデートがあるため、バージョンを簡単に切り替えられるようにします。 1. tfenvインストール Homebrewでtfenvをインストールします。 % brew install tfenv インストール後に、バージョン確認してみましょう。 % tfenv

AWS Elastic Beanstalkについてなるべく難しい言葉を使わずに解説します。 分かりやすくするために一部厳密にいえば違うようなことも書いていますが、 あくまでイメージを捕えるためなので鵜呑みにしないでください。 (一応そういう書き方するところは注釈入れてます。) 1.Elastic Beanstalkとは？ 例えば、「AWS上のサーバ上でWEBアプリケーション動かしたいから環境作ってくれ」 上司からこんな指示が出たとしてやるべきことを全部分かっていて迷わずに準備できるWebアプリケーションエンジニアは全体の何%でしょう。 可用性高めるためにVPCのサブネットに分割して。。。 突然サーバへの負荷が上がった時のためにAutoScallingできるように設定して。。。 エンドユーザが複数あるサーバを認識できるようにElastic Load Balancingの設定をして。。。 物理

概要 docker build を実行したら以下のようなエラーが出てビルドできなくなりました。以下、対処方法についてまとめていきます。 ------ > [internal] load metadata for docker.io/library/build:latest: ------ failed to solve with frontend dockerfile.v0: failed to create LLB definition: pull access denied, repository does not exist or may require authorization: server message: insufficient_scope: authorization failed 環境 Windows11 Docker Desktop 4.11.1 (84025) W

最近は、ソフトウェアの新しい技術や、考え方の日本に対する導入の遅れをどうやったら無くすことができるか？ということを考えている。今回はインターナショナルチームに参加して感じたマネジメントスタイルの違いについて書いてみたい。 海外企業のリーダーシップスタイルの変化 ソフトウェアの世界では、2001年にアジャイル開発が登場以来、それ以降のパラダイムでは、「サーバントリーダーシップ」と呼ばれるタイプのマネジメントスタイルが主流になっている。 従来型のスタイルは「コマンドアンドコントロール」というスタイルで、リーダーが部下に指示をし、リーダーは部下の状況を把握、確認し、管理していく。一方、サーバントリーダーシップの場合、リーダーは、ビジョンとKPIを示すが、実際にどのようにするかは、チームが自ら考えて意思決定していく。 この考え方は、既に1969年に発表されているらしいというのを下記の本で知った。

今回の連載では全体像を把握出来るように、ユーザが利用する5種類のリソースについて説明していきます（内部的に利用されているリソースは除きます）。次回以降、これらの各リソースについて詳細な説明を行います。また、この中でもアプリケーション開発者が特に利用するのは、Workload、Discovery＆LB、Config＆Storageの3種類になります。 Workloadsリソース 1つ目のWorkloadsリソースは、クラスタ上にコンテナを起動させるのに利用するリソースです。内部的に利用されているものを除いて利用者が直接利用するものとしては、全部で8種類のWorkloadsリソースが存在します。 Pod ReplicationController ReplicaSet Deployment DaemonSet StatefulSet Job CronJob Discovery＆LBリソース 2

Featured Partner Articles Cloud cost optimization best practices Read moreHow to choose a cloud provider Read moreDigitalOcean vs. AWS Lightsail: Which Cloud Platform is Right for You? Read more

chshはログイン時のシェルを変更するコマンドだ。 このページではログイン時のシェルを変更する方法を解説する。 chshコマンドの基本 コマンドの基本動作 使い方は、次のとおりだ。 $ chsh ユーザー testのログイン時のシェルを変更するが現在の状況を確認しておこう。 /etc/passwdファイルでユーザーtest詳細情報を確認する。 $ grep test /etc/passwd ユーザーtestのログインシェルは/bin/shだ。 実際にユーザーtestでログインしてみる。 $ su test 現在、ユーザーtestでログインすると、このようなログインプロンプトとなっている。 このログインシェルは/bin/shのログインプロンプトはこのログインプロンプトなのだ。 ここで一旦ユーザーtestをログアウトする。 $ exit ユーザーtestをログアウトした。 では、実際にシェルを

無償の「Docker for Windows」で手軽にLinuxコンテナを利用する：Windows管理者のためのDocker入門（2/2 ページ） Docker for Windowsを使うには？ Dockerは基本的にはCUIで操作／管理するツールである。後述するようにGUIの管理ツールも存在するけれど、「docker.exe」というコマンドラインコマンドにパラメーターを付けて操作するのが標準といえる。 Docker for Windowsをインストールすると、「C:\Program Files\Docker」フォルダ以下にDocker関係のツールがインストールされ、PATH環境変数もセットされる。そのため、インストール後にコマンドプロンプトやPowerShellコンソールを開けば、すぐにdockerコマンドを実行できる。 Dockerの基礎やdockerコマンドの使い方についてはここで

こんにちは、王です。 みなさん、「RxJS」をご存知でしょうか？ すごく大雑把に言うと、RxJSとは非同期処理（マウスクリックなどのイベントベースの処理も含める）をするときに超絶便利なライブラリです！ イメージしやすいように「便利」とは言いましたが、決して「便利」という言葉ではおさまらないくらいのインパクトがあると思います。ちょっとした「イノベーション」に近い感覚です。 今回は、RxJSを全く知らない初心者でもとっつきやすいように説明してみたいと思います。少し記事が長くなりますが、最後までお読みいただければ幸いです！ 目次 ReactiveXについて 非同期処理の問題点 RXと「Observerパターン」 ウォーミングアップ イベントを配列のように操る？ Stream（ストリーム） ストリームを操作する「オペレーター」 オペレーションチェーン ObserverとObservable Col

Mac(OS X)には標準でApacheが用意されていて、ターミナルからコマンドを入力することで開始/停止することができます。 # Windowsでは別途自分でインストールして設定する必要があったので助かりました JavaScriptで開発している時にローカルファイルでは確認できない内容は、ローカルサーバーを使って行いましょう。 sudo apachectl start Apacheの停止 sudo apachectl stop Apacheの再起動 sudo apachectl restart Automatorで登録 今回のApacheの開始/停止は使用頻度が高そうなのでAutomatorでアプリケーションとして作っておきました。 ただし、実行時にパスワード入力が伴うコマンドは「シェルスクリプトの実行」ではエラーが出て実行出来ません。「AppleScriptを実行」を使うことで、パスワ

最新の類似投稿としてシェルスクリプトのコーディングルール2014も併せてどうぞ。 2014/10/09追記 ぼくがシェルスクリプトを書くときに気にしていること、過去の失敗で書き留めたことを忘れないために。 1. グローバル変数は大文字 PATH や HOME など、環境変数が大文字なので、エクスポートする変数を大文字で書くという習慣は一般的であるような気がしますが、エクスポートする変数を抱えるシェルスクリプトを作成する機会が稀なので。 グローバル変数は大文字 ローカル変数は小文字 エクスポートする変数も大文字 関数内からグローバル変数にアクセスする場合がありますが、やはり区別していると、可読性が増すような気がするのでお勧めです。 2. awk を知る Unix 上にて文書処理をするときに、数多くのフィルタコマンド（grep、cut、tr、head、sort、uniq、sed、awk、wc、