BERT + LightGBM + optuna で手軽に自然言語処理モデルを構築する - Qiita

BERT + LightGBM + optuna で手軽に自然言語処理モデルを構築する - Qiita

BERTとLightGBM, optunaで自然言語の分類モデルをサクッと作ってみようという記事です。 データはlivedo...概要を表示 BERTとLightGBM, optunaで自然言語の分類モデルをサクッと作ってみようという記事です。 データはlivedoorニュースコーパスを使用しています。 また、本記事で使用しているコードはすべて以下にあります。 https://github.com/kazuki-hayakawa/bert_lightgbm_model 実際に実行するときはgit cloneしてからお手元で試してみてください。 全体の流れ livedoorニュースコーパスのデータのダウンロード 日本語学習済みBERTモデルのダウンロード 実験用コンテナの起動 特徴量の生成 モデルのトレーニング テストデータによるモデルの評価 コンテナの終了 livedoorニュースコーパスのデータのダウンロード livedoorニュースコーパスのデータを data/raw ディレクトリにダウンロードします。ダウンロード用のスクリ