2019-01-01から1年間の記事一覧
まずはWSLとディストリビューションをインストール https://www.atmarkit.co.jp/ait/articles/1903/18/news031.html WSLのインストール（1） ［コントロールパネル］－［プログラムと機能］－［Windowsの機能］ダイアログを開き、［Windowsの機能の有効化ま…
github.com事前学習タイプのBERTを日本語向けにチューンした bert-japanese を試してみた 上のページのサンプルを実際に Google Colaboratory で実行してみた 結論 Bag of Words + ロジスティック回帰と比較して 良いところ 平均で precision +2ポイント、re…
github.com github.com ライブドアコーパスの記事分類性能がトークナイザーの種類によって変わるのか試す実験の続き。今回は SentencePiece でやってみた SentencePiece はディープラーニングでの利用を前提に作られているのだけれど、ロジスティック回帰等…
ライブドアコーパスの記事分類で、トークナイザー をGiNZA、Sudachi、MeCab+NEologdで変更しながら分類精度の差を調べてみた 結論 ： 多少の凸凹はあるものの有意な差はなさそう 分類方法は Bag of Words ＋ ロジスティック回帰 GiNZA、Sudachi、NEologdのバ…
ohke.hateblo.jp 上記ページを参考に Sudachi をインストール $ cd /home/ec2-user/work ← このディレクトリのsrc以下にインストールされる $ pip install -e git+git://github.com/WorksApplications/SudachiPy@develop#egg=SudachiPy $ pip list | grep su…
AWS の EC2 の場合はインスタンスタイプを medium (4GB) 以上で実行する こちらも NEologd 同様 small (2GB) だとメモリ不足でエラーになった $ pip install "https://github.com/megagonlabs/ginza/releases/download/latest/ginza-latest.tar.gz" $ ginza …
AWS の EC2 の場合はインスタンスタイプを medium (4GB) 以上で実行する small (2GB) だとメモリ不足でエラーになった sudo su - cd /usr/local/src/ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git cd mecab-ipadic-neologd ./b…
Colaboratory で TPU を使う場合、ファイル出力は GCS にしかできない CPUならGoogle DriveでもOKGCSバケットの作り方 https://console.cloud.google.com/ 左上「三」からメニューを表示して ストレージ.Storage を選択 「課金を有効にする」をクリック アカ…
上ナビ 「ランタイム」 「ランタイムのタイプを変更」 「ハードウェアアクセラレータ」 : TPU 保存 ※1) GPUを使う場合も手順は同じ。「ハードウェアアクセラレータ」でGPUを選ぶ ※2) Googleドライブのマウントはやり直す必要がある
# Googleドライブのマウント from google.colab import drive drive.mount('/content/drive')表示されるURLをクリック アカウントを選択 許可 表示されるコードをコピー Enter your authorization code: に張り付ける Mounted at /content/drive が表示され…
techblog.nhn-techorus.com上記参考ページを見ながら Colaboratory で実行するために一部変更しながら BERT を動かしてみた # BERT のダウンロード !git clone https://github.com/google-research/bert # BERT 学習済みモデルのダウンロード !wget https://…
sudo yum remove cmake wget wget https://cmake.org/files/v3.14/cmake-3.14.4.tar.gz tar -xvzf cmake-3.14.4.tar.gz cd cmake-3.14.4 ./bootstrap make sudo make install
ディレクトリの作成はUIからはできないっぽいので、プログラムから作成するか既存のディレクトリを使う sample_data というディレクトリがデフォルトである アップロードしたファイルは時間が来ると削除される模様qiita.com
実行方法 % load_ext tensorboard.notebook% tensorboard --logdir ログディレクトリ これで TensorBoard がインライン表示される
#!/bin/bash -x SERVER='127.0.0.1' PORT='9200' INDEX='index' TYPE='type' curl -XPOST "http://$SERVER:9200/$INDEX/$TYPE/_delete_by_query?conflicts=proceed&pretty" -d '{ "query": { "match_all": { } } }'
参考ページ stackoverflow.com scikit-learn で LogisticRegression 実行中にエラーで Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so. mkl使わないようにする conda install nomkl numpy scipy scikit-learn numexpr conda remove mkl…
アップデートしたら conda update --all エラーが出た RemoveError: 'pyopenssl' is a dependency of conda and cannot be removed from conda's operating environment. 本体のアップデートやってから conda update --force conda もう一回 conda update --…
参考ページ www.elastic.co #!/bin/bash -x SERVER='hoge.hoge.com' PORT='9200' INDEX='index' TYPE='type' curl -X PUT http://$SERVER:$PORT/$INDEX/$TYPE/_mapping?pretty -d ' { "properties" : { "new_field1" : { "type" : "keyword" }, "new_field2"…
推定してみるページ その1 www.min-inuzukan.com 推定してみるページ その2 www.instagram.com 結果 : 動物だけだと簡単すぎたかも... みんなの犬図鑑 - トイプードル 0.png ← その１のページ ('n02113624', 'toy_poodle', 0.9494451) ('n02113712', 'miniat…
下記を参考に構築 qiita.com conda install selenium Chrome のバージョンが 72 だったので下記から ChromeDriver 2.46 をダウンロードして解凍 chromedriver.chromium.org できたchromedriver_win32 フォルダ を以下にコピーしてパスを通した C:\Program Fi…
下記を参考に構築 qiita.com > sudo su - # curl https://intoli.com/install-google-chrome.sh | bash Successfully installed google-chrome-stable, Google Chrome 72.0.3626.109 . 途中 エラーが出ても気にしない... # vim /etc/yum.repos.d/centos.repo…
>python manage.py runserver django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module.Did you install mysqlclient? MySQLdb が欲しい libssl と libssl のバージョンがあってなかったらしい強引にあってるように見せかけた >cd /usr/…
Kibana の ダッシュボードに グラフ等を表示する場合には まず Visualize で グラフそれぞれを作ってから Dashboard で配置しますが 検索結果一覧は Visualize ではなく Discover で作成します 1) Discover で 対象の Index Pattern を選んだあと ページ上部…
