本記事ではElasticsearchとBERTを組み合わせて類似文書検索を行う方法について紹介します。Elasticsearchでは最近、ベクトルに対する類似文書検索の機能が実装されました。一方、BERTを使うことでテキストを固定長のベクトルに変換することができます。つまり、BERTを使ってテキストをベクトルに変換すれば、Elasticsearchを使って類似文書検索ができるということになります。 本記事では以下のアーキテクチャでElasticsearchとBERTを組み合わせた検索システムを実現します。Dockerを使ってアプリケーション、BERT、Elasticsearchのコンテナを分けることでそれぞれをスケールしやすくする狙いがあります。記事中では重要な部分のみ提示しますが、システム全体はdocker-composeのファイルとして記述しこちらのリポジトリに置いてるので、参照してく

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

ども〜古川です。 今回はnvidia-dockerについて書いてみようかと思います。 nvidia-dockerとは？ CUDAおよびcuDNNなどが梱包されたdockerコンテナイメージを使えるようにするためのツールです。 図のようにホストマシンのDriverを用意をしておけば、CUDAやcuDNNをつかったアプリをコンテナごとに管理できます！ 2016年7月時点ではrc版ですが、家のマシンで試したところ安定して使えそうだったので、今回を期に紹介します！ 結局nvidia-dockerは何がおいしいの？ Deep Learningライブラリのバージョンが容易になる ホストマシンにDeep Learningライブラリがある場合を想定してください。 Deep Learningライブラリをバージョンアップしたいときが起きますが、その場合、次の作業が必要になることがあります。 CUDAのバージョ

この記事はRuby Advent Calendar 2016の5日目です。 昨日はiguchi1124さんの「Railsアプリケーションでより良いリソース設計を実装するためのテクニック」 でした。 明日は、tomokane@githubさんの記事になります。 はじめに 最近、個人的なプロダクトを久しぶりにRailsで書いています。 自分の場合、Rubyはテキスト処理とかスクレイピングとかそういったスクリプトで使う用途が多いので、 Railsをまともに触るのは実に２以来。そのせいで５を触るにあたって大分忘れてたことや時代に取り残されたところがありました。 あと、Herokuも本格的に使ったことは無かったのですが、今回Dockerに完全対応したということで使ってみたので、 Heroku Container Registryを使ったDockerによるRails環境について備忘録がてら、今年はまと

docker-machineをVirtualBoxで使っているときにデータを永続化したい場合には、 Data Volumeと共有フォルダ機能を組み合わせてデータを保存する方法があります。 基本的な使い方と、任意のディレクトリをマウントする応用形の２種類を用意しました。 ちょくちょく読み替えればMacでも使えると思われます。 前提 Windows 10 VirtualBox 5.0.6 Docker Toolbox 1.8.2c dev という名前で VirtualBox上に docker-machine VM を用意しています 【基本形】C:\Users 配下をData Volumeにする場合 まずは基本形。docker-machine (旧 boot2docker)は Windows環境であれば、 C:\Users をVirtualBox共有フォルダとしてdockerホストの /c/Us

この時、data volumeに使用するdriver pluginがインストール済みであればそれを指定することができ、NFS等を利用したdata volumeの作成も可能になる。(ただしdriverがその環境でinstallできるかは別なので注意) SEE: https://docs.docker.com/engine/extend/legacy_plugins/#/volume-plugins data volumeの確認 docker volume lsで一覧 コンテナを指定して使用しているdata volumeを調べたい場合は以下のようにすれば、volumeの名前を取得できる。

概要 Web アプリケーションを開発しているときに、開発環境に MySQL や Redis を用意しバージョンを揃え、いや Redis はキャッシュにしか使ってないし必須じゃないから開発環境に無い場合のコードも書いて…… というようなことを2017年にもなってやりたくないので、Docker を使って良い感じにやっていきます。 Docker や Docker Compose に関する基本的な説明は割愛するので、公式ドキュメントをあたってください。 目標 コマンド一発で必要なサービス群が全て立ち上がるようにする Docker Compose を使い、1サービスごとに1コンテナを立ち上げる vendor や node_modules は、ホスト側のものと完全に分離する。OS が違う場合、Native extension があると問題の原因になるので避けたい。 ホスト側ではエディタと git さえ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

結論 以下の手順で作るのが効率的です。 ベースにする Docker イメージを決める docker run -it <docker-image> sh でコンテナ内部で作業 1行ずつ、うまくいったらどこかにメモ 失敗したらいったん exit して再度 docker run ファイルの取り込みやポートの外部公開が必要ならオプション付きで docker run 全部うまくいったら Dockerfile にする ネットで見たことはないですが、もし docker build で試行錯誤しながら Dockerfile を作るとしたら、それはさすがに苦行です。 遅い デバッグしにくい！コンテナ爆発しろ！！って気持ちになります。 これが原因で「Docker 使えない 便利じゃない 」と思っていたのならそれは勘違いです。 手順詳説 試しに ip-api.com にリバースプロキシするだけの Nginx イ

註記 (2018/03/22) この記事を書いてから長い月日が経ちましたが、じわじわといいねを頂いているようで…ありがとうございます。 ただ…正直この記事の内容はすでに太古の手法と化しています。 今のDockerではvolume機能を用いれば、ここに書かれた例のようにわざわざデータ永続化のためだけにコンテナを用意する必要も無くなります。 docker-composeであればデフォルトではvolumeのみ削除しない仕様なので、うっかりvolumeを闇に葬り去るという悲しい事件を起こしてしまうことも防げると思いますし、こちらを活用したほうが良いと思います。 詳細は気が向いたら書こうかと思います…書けたらいいな… Dockerコンテナはデータを保持できない DockerでMySQLなどのデータベースサーバを運用する場合、データの永続化が問題になります。 Dockerはコンテナを削除すると、保存さ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

以下に紹介するのは、 Docker を使って node.js 用のWebアプリケーションを開発、およびデプロイする際に、私が四苦八苦しながら学んだ秘訣やコツです。 このチュートリアル記事では、Dockerで socket.ioのチャットサンプル を白紙の状態から本番状態へとセットアップしていきます。このプロセスを通じて、そうした秘訣などを簡単に習得していただければ幸いです。特に、以下のような内容について見ていきます。 実際にDockerでNodeアプリケーションを起動する。 すべてをrootとして実行させない（悪いやり方です）。 開発時のテスト-編集-リロードサイクルを短くするため、バインドを使用する。 再構築を高速にするため、 node_modules をコンテナで管理する（これには秘訣があります）。 npm shrinkwrap で、ビルドを反復可能にする。 開発環境と本番環境で Do

前提 以下、インフラ？誰かに頼むから大丈夫！な方への記事です。 正確な説明や比喩よりも、わかりやすさを優先します。 これまであがった課題など 明確に書いていなかったものも含め、こんな課題がありそうです。 初回の仮想化では * 環境間の差異を完全になくすことはできない1 ひとつの仮想環境で利用できるOSはひとつに限定されてしまう2 仮想環境の中で何が動いているのか、外からはわかりにくい 前々回の構成管理では OSによっては構成管理が期待通りに動かない 同じ定義書を利用しても、やはり隣の人とまったく同じ環境になる保証がない ひとつのプロジェクトで、複数バージョンのソフトウェアを同時に使うのは依然困難 そもそもプロジェクトごとに定義書作るのは（煩雑さが緩和されず）やっぱり大変 前回のクラウドでは サーバは数分で起動するが、数分は決して速くない スナップショットからは作業履歴を追いにくい サーバス

Docker ＋ Itamae でレシピ作成の試行錯誤を 高速化 #itamae #docker 概要 Docker ＋ Itamae でレシピ作成の試行錯誤を 高速化 します 目的 Itamae のレシピ作成時間を短縮 特に工夫をしないと、レシピのプロビジョニングリトライは非常に時間がかかる 例えば、Ubuntu 環境に rbenv + ruby(2.1.3) + rails(4.1.8) 環境をインストールしたところ 15 分かかりました 何も工夫をしなければ再試行に + 15 分かかります 普段のプログラミング同様、何事も一発で成功することは少ない。試行錯誤は発生する ※ Itamae に限った話ではないので、プロビジョニングツール全般に応用可能 前提 Vagrant で構築した CoreOS 環境 の上に Docker で作成した Ubuntu 14.04 のコンテナを作成し、その

いまさらDockerをはじめてみました。 コマンドを忘れやすいし、古かったり断片的にしか欲しい情報がなかったりして どのように動作しているのか把握に苦しんだので備忘録含めてまとめておきます。 （この記事だけで一通りの使い方はわかるようにしたつもりです。） Dockerを使うことのメリットは次のようなものがあります。 Dockerコンテナ上に仮想環境（OS+ミドルウェア）を構築するため、実環境が汚れない 作成したDockerコンテナはイメージファイル化（Dockerイメージ）できる DockerイメージはDocker Hubでプライベートもしくはパブリックリポジトリにバージョン管理＆公開できる Dockerイメージを持ってきてコンテナ起動するだけなので環境移行が楽 Dockerfileと呼ばれる環境作成ファイルからDockerイメージの作成もできる DBサーバの各コンテナを用意し、 アプリサ

みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。