はてなブックマーク

概要 このページでは、日本語Wikipediaを対象に情報通信研究機構 データ駆動知能システム研究センターで事前学習を行ったBERTモデルをクリエイティブ・コモンズ 表示 4.0 国際ライセンス (CC BY 4.0)のもとで公開しています。 BERTモデル [1] の学習では、バッチサイズやステップ数を増やすことで性能が向上することが報告されています [2]。そこで本ページのモデルでは、[2] のRoBERTa-500Kと同等の計算量となるよう、ステップ数を [1] と同様に100万に保ちつつ、バッチサイズを [1] の16倍の4,096にして学習を行いました。 作成したBERTモデルの評価として、NICTで作成した (fine-tuning用) 学習データと評価データ (これらのデータは大規模Web情報分析システムWISDOM X、対災害SNS情報分析システムDISAANA、災害状況要

契約書の入手及び作成方法等につきましては、右下の「ALAGIN会員」よりログイン頂く事で、右メニューより「資源の入手・契約方法」「言語資源申請書・契約書」がご覧になれます。 （A-1）文脈類似語データベース 100万語の名詞に対して、約1億ページのWeb文書上での文脈が類似している名詞を類似度とともに順に最大500個列挙したものです。（今年度中にさらに大規模な約6億ページのWebデータをもとに構築し直し、語彙数も200万まで増強する予定です） 例（数字は類似度） 「ルパン三世」の文脈類似語（アニメタイトルが上位に集まっている） ルパン３世 (-0.229) 名探偵コナン (-0.259) 宇宙戦艦ヤマト (-0.265) ケロロ軍曹 (-0.28) 鉄腕アトム(-0.282) ガッチャマン (-0.287) デビルマン (-0.289) サイボーグ００９ (-0.294) 新世紀エヴァンゲ

概要¶ RaSCは，国立研究開発法人 情報通信研究機構 情報分析研究室が開発した，ユーザプログラムを高速・高並列に実行可能にするフリーのミドルウェアです． (参考文献) 田仲 正弘, 大竹 清敬, 鳥澤 健太郎, 田浦 健次朗, RaSC: 高速なストリーム通信をサポートする言語処理プログラムの高速化・高並列化ミドルウェア, 言語処理学会第20回年次大会, 2014. [発表スライド] RaSCは，既存の形態素解析器や係り受け解析器などのプログラムを大量のWebページに高速に適用することを念頭に開発されたものであり，多種のユーザプログラムを複数起動し，それらを相互に接続して分散並列実行させるためのミドルウェアです．処理の例としては，一つのファイルやストリームにある複数件の入力に対して，ユーザプログラムを複数起動し，マルチコアCPUを活用して並列実行したり，複数の計算機上で分散実行することを

目次 関係知識を利用する全文検索システム QE4Solr とは 新着情報 動作環境 実行に必要なツール ダウンロード パッケージのダウンロード パッケージ構成 パッケージの展開 検索の事前準備 必要なデータ（検索対象文書、辞書） インデックスの作成 検索システム起動 検索方法 検索インターフェース 検索の仕組み 分散検索 著作権＆ライセンス 関係知識を利用する全文検索システム QE4Solr とは 関係知識を利用する全文検索システム QE4Solr とは、異表記辞書や同義語辞書、単語間意味的関係知識等を用いてクエリを自動拡張する全文検索システムです。大量の異表記、同義語、意味的関係知識によりクエリ拡張することで、検索漏れの防止や、意外だが有用な情報の発見が期待できます。また、索引付けと検索の並列処理が可能で、Webアーカイブ等の大規模な文書データも効率的に処理できます。異表記辞書や同義語辞

本資源の説明書（契約後は、「負担・ トラブル表現リスト（Version 1.0）説明書 trouble_README.euc」という名前で同じ内容のファイルがダウンロードできます） ファイル容量：　約148KB。 （A-4）上位語階層データ すでに公開中のWikipediaからの上位下位関係抽出ツール（http://alaginrc.nict.go.jp/hyponymy/index.html）を日本語Wikipedia (2007-03-28版）に適用し、得られた上位下位関係に現れた上位語、約69,000名詞句を階層化して、階層を構成する名詞句のすべてに、その指示対象が十分に特定されるかどうかのタグ付けをおこなったものです。例えば、「成分」という語はそれだけでは指示対象が特定されず、「食品の成分」などというように表現を補わないと適切な上位語とは呼べません。本データによって、Wikiped

目次 意見（評価表現）抽出ツールとは 高度言語情報融合フォーラム（ALAGIN）で公開されているモデルデータと辞書データについて 新着事項 ご利用にあたっての注意事項 ダウンロード ツールの実行環境 意見（評価表現）抽出ツールの動作確認方法 モデルデータの生成 このパッケージに含まれているディレクトリ・ファイル 解析精度 参考文献 著作権＆ライセンス 付録 意見（評価表現）抽出ツールとは 本ツールは、国立研究開発法人情報通信研究機構 旧知識処理グループ 情報信頼性プロジェクトによって開発されたもので、1行につき1文が書かれたテキストファイルを入力として、機械学習を使って何らかの事象に対する意見や評判および評価（以下、これらをまとめて「評価情報」と呼びます）がテキスト中のそれぞれの文に存在するかどうかの判定を行い、その文に評価情報が存在すると認められた場合、以下の情報を出力するツールです。

目次 意見（評価表現）抽出ツールとは 高度言語情報融合フォーラム（ALAGIN）で公開されているモデルデータと辞書データについて 新着事項 ご利用にあたっての注意事項 ダウンロード ツールの実行環境 意見（評価表現）抽出ツールの動作確認方法 モデルデータの生成 このパッケージに含まれているディレクトリ・ファイル 解析精度 参考文献 著作権＆ライセンス 付録 意見（評価表現）抽出ツールとは 本ツールは、国立研究開発法人情報通信研究機構 旧知識処理グループ 情報信頼性プロジェクトによって開発されたもので、1行につき1文が書かれたテキストファイルを入力として、機械学習を使って何らかの事象に対する意見や評判および評価（以下、これらをまとめて「評価情報」と呼びます）がテキスト中のそれぞれの文に存在するかどうかの判定を行い、その文に評価情報が存在すると認められた場合、以下の情報を出力するツールです。

目次 日本語Wikipediaエントリの係り受けデータベースとは 新着情報 ダウンロード 利用方法 利用条件 リンク 公開しているその他のオープンソースツール・言語資源 高度言語情報融合フォーラム（ALAGIN）言語資源サイト 日本語Wikipediaエントリの係り受けデータベースとは 本データベースは、日本語の大量（約6億ページ、約430億文、クロール時期は 2007年5月19日から11月13日）のWeb文書から、Wikipediaの記事のタイトル（エントリ）の内、二文節以上のもの（例：「三保の松原」「風と共に去りぬ」）に関する係り受けとその頻度を抽出したものです。通常の形態素解析・係り受け解析では、これらのエントリが複数の文節に分割されてしまうため、これまで高度言語情報融合フォーラム（ALAGIN）で公開してきた日本語係り受けデータベース (Version 1.0)では、これらのエント

目次 意見（評価表現）抽出ツールとは 高度言語情報融合フォーラム（ALAGIN）で公開されているモデルデータと辞書データについて 新着事項 ご利用にあたっての注意事項 ダウンロード ツールの実行環境 意見（評価表現）抽出ツールの動作確認方法 モデルデータの生成 このパッケージに含まれているディレクトリ・ファイル 解析精度 参考文献 著作権＆ライセンス 付録 意見（評価表現）抽出ツールとは 本ツールは、国立研究開発法人情報通信研究機構 旧知識処理グループ 情報信頼性プロジェクトによって開発されたもので、1行につき1文が書かれたテキストファイルを入力として、機械学習を使って何らかの事象に対する意見や評判および評価（以下、これらをまとめて「評価情報」と呼びます）がテキスト中のそれぞれの文に存在するかどうかの判定を行い、その文に評価情報が存在すると認められた場合、以下の情報を出力するツールです。

オープンソースソフトウェア 上位下位関係抽出ツール （https://alaginrc.nict.go.jp/hyponymy/index.html） 多言語形態素解析システム（特許等調整中） 多言語係り受け解析システム（CNP）(https://alaginrc.nict.go.jp/cnp/index.html) 意見（評価表現）抽出ツール(https://alaginrc.nict.go.jp/opinion/index.html) 関係知識を利用する全文検索システム(https://alaginrc.nict.go.jp/qe4solr/index.html) 並列類似文字列検索システム(https://alaginrc.nict.go.jp/para-simstring/index.html) 高速化・高並列化ミドルウェア RaSC(https://alaginrc.nict.g

本資源の説明書（契約後は、「負担・ トラブル表現リスト（Version 1.0）説明書 trouble_README.euc」という名前で同じ内容のファイルがダウンロードできます） ファイル容量：　約148KB。 （A-4）上位語階層データ すでに公開中のWikipediaからの上位下位関係抽出ツール（http://nlpwww.nict.go.jp/hyponymy/index.html）を日本語Wikipedia (2007-03-28版）に適用し、得られた上位下位関係に現れた上位語、約69,000名詞句を階層化して、階層を構成する名詞句のすべてに、その指示対象が十分に特定されるかどうかのタグ付けをおこなったものです。例えば、「成分」という語はそれだけでは指示対象が特定されず、「食品の成分」などというように表現を補わないと適切な上位語とは呼べません。本データによって、Wikipedia

オープンソースソフトウェア 上位下位関係抽出ツール （https://alaginrc.nict.go.jp/hyponymy/index.html） 多言語形態素解析システム（特許等調整中） 多言語係り受け解析システム（CNP）(https://alaginrc.nict.go.jp/cnp/index.html) 意見（評価表現）抽出ツール(https://alaginrc.nict.go.jp/opinion/index.html) 関係知識を利用する全文検索システム(https://alaginrc.nict.go.jp/qe4solr/index.html) 並列類似文字列検索システム(https://alaginrc.nict.go.jp/para-simstring/index.html) 高速化・高並列化ミドルウェア RaSC(https://alaginrc.nict.g

上位下位関係抽出ツール Version1.0 : Hyponymy extraction tool 目次 上位下位関係抽出ツールとは 新着情報 注意事項 ダウンロード 動作環境 実行 機械学習用モデルファイル 実行結果 オプション引数 ディレクトリ構成 実行コマンド入力例 抽出上位下位関係数 参考文献 Copyright 上位下位関係抽出ツールとは 上位下位関係抽出ツールは，Wikipediaダンプデータ(XMLファイル)から機械学習を使って上位下位関係となる用語ペアを数百万対のオーダーで抽出できるツールです． 上位下位関係とは，"XはYの一種(一つ)である"と言えるXとYの関係を言います． Xのことを下位語，Yのことを上位語と呼びます． 別の言い方をしますと，上位下位関係は「上位概念ー下位概念」または「概念ーインスタンス(具体例）」の関係を持つ語の対となります． 抽出できる上位下位関係の