こんにちは。LINEヤフー株式会社でテキストマイニングや自然言語処理などをやっている山下（ @yto ）です。 Yahoo!デベロッパーネットワークのテキスト解析 Web API が CORS（Cross-Origin Resource Sharing）対応したため、サーバがなくてもブラウザから直接 Web API にアクセスできるようになりました（参考）。 そのテキスト解析 Web API の機能の一つである「校正支援」は日本語文章の品質チェック（校正）を支援するもので、文字の入力ミス、言葉の誤用、わかりにくい表記、不適切な表現などが使われていないかをチェックして、指摘します（内部の辞書データをベースとしているため完全なものではないことをご承知おきください）。 この校正支援機能のサンプルプログラムとして「HTML ファイル1つだけで完結する校正支援ツール」を作ったので紹介します。入力され

The address nl-ipsj.wordpress.com cannot be registered. Site names can only contain lowercase letters (a-z) and numbers. But you can sign up and choose another one.

2016年9月27日のヲハニュースをお届けします。 ニルヴァーナ『Nevermind』25周年記念、赤ちゃんの頃にアルバム・カヴァーに登場した25歳の青年が同カヴァーを再現 - amass 最近の様子。 記事中の2011年ってのは間違ってるかと。 2008年の様子↓ プールの中でお札をつかもうとしてる Nirvana Baby が成長してゲットマネーに再チャレンジ ９時に寝ないとキレる子になる？：朝日新聞デジタル 成長ホルモンの「ゴールデンタイム」は誤解から広まった情報。 「◯時までに寝かせないと体が弱い子になる」「キレる子になる」「背が伸びなくなる」は医学的根拠なし。 10代の女の子、赤ちゃんの頃の恥ずかしい写真をFacebookに公開した両親を訴える 子供の気持ちを全否定する親が悪いか。 と思ったがこれって家族ぐるみで仕組んだ炎上演出なのかも。 関連：本ブログにおける育児記事のポリシー

2016年7月22日のヲハニュースをお届けします。 Kindleセールスタート！「グラビアsabra夏祭り」「999円ITビジネス書」「ディズニー関連本」「青い鳥文庫」「夏コミック第3弾」など (2016.7.22) : キセブ 恒例の金曜スタートKindleセール（セールページのあるもの）は6件。 2月以降久しぶりのsabra祭りあり。 お手軽学びフェアではおすすめのマンガ片付＆収納術がまた出てます。 【30%OFF】小学館（写真集)sabra夏祭り2016第1弾（7/28まで） 例：愛人倶楽部　橋本マナミCOVER DX [sabra net e-Book] 【30%OFF】「夏☆電書」ディズニー関連タイトル＆青い鳥文庫フェア（8/4まで） 例：ディズニーファン2016年8月号増刊　「夏ディズニー」大特集号 [雑誌] 例：名探偵ホームズ　赤毛組合 (講談社青い鳥文庫) 【期間限定無料＆

2016年6月16日のヲハニュースをお届けします。 新井紀子教授が予見！ロボットで失業するのは「銀行の窓口」より「半沢直樹」 ホワイトカラー「半数が不要」の衝撃｜ビジネス+IT 人間とロボットの得意不得意。 Google検索のキーワード予測。人物名の場合は不適切な言葉の組み合わせを意図的に排除 - PC Watch 人物名で検索した際にオートコンプリートで候補に表示される単語の候補からは、攻撃的なものや、侮蔑するような言葉を排除するアルゴリズムを以前より導入しているという。 へえ。 サイト消失「ICT女子プロジェクト」で新たな不備　応募用紙の流用に「言い訳の余地がない」 完全にダメだね、これは。 名古屋は､なぜ外国人にとって宝の山なのか | レジャー・観光・ホテル | 東洋経済オンライン | 経済ニュースの新基準 尾張名古屋は城で持つ。 名古屋はええよ!やっとかめ - Wikipedia

【ベイズ】Naive Bayes（単純ベイズ）による文書分類のサンプルプログラム【Perl】 2013-07-26-1 [Programming][Algorithm][NLP] かなり昔に作った Naive Bayes（単純ベイズ）による文書分類のサンプルプログラムを整理したので公開しておきます。Perl で書かれています。Pure Perl。 Naive Bayes についての詳細は下記のサイトをどうぞ。 - 単純ベイズ - 機械学習の「朱鷺の杜Wiki」 - Wikipedia:単純ベイズ分類器 さて、Naive Bayes で分類するときには下記の式を用いるわけです。 Pについての定義は下記： 実装を簡単にするために log をとって足し算にしています（argmax ですが実際はマイナスかけて argmin で実装）。 学習データ 分類したいカテゴリごとに1行。 各行はカテゴリのラ

【アイディア】圧縮率向上のための構成支援ツール 2011-03-28-1 [Idea][NLP] 日本語文字列の場合（に限らないけど）、使う字種を少なくするほど圧縮率が向上する。漢字をひらがなにすると情報量が減るので（「記者」を「きしゃ」と表記すると「汽車？帰社？貴社？」と曖昧性が増える＝情報量減少）、当たり前のことだけど。 ということで、圧縮率向上のための構成支援ツールがあると嬉しい。「この文字をひらがなにするとこれだけ圧縮率が上がります」と教えてくれたり。 ひらがな化の推薦順序はどういう漢字がひらがな表記率が高いかの統計データを使う。例えば「面白い」を「おもしろい」と書くのは一般的だけど「東京駅」を「とうきょうえき」とはあまり書かない、みたいな統計データ。コーパスから得ることができる。 既出ネタかな。 ちなみに手元にある100万文字ほどの日本語テキストとそれを形態素解析器通して読みだけ

Modern Information Retrieval 第二版をゲット！ 2011-02-23-1 [Book][NLP] 発売がのびのびになっていた Modern Information Retrieval (MIR) の Second Edition ですが、やっと入手しましたよ！ 初版と比べて厚さ3倍！ 参考文献のページのフォントが大きくなってて余分にページ数を食っており、そこを除けば厚さは2倍ほど。 ■Berthier Ribeiro-Neto,Ricardo Baeza-Yates / Modern Information Retrieval ref. - [を] Modern Information Retrieval 第二版が2008年5月に出るみたい[2007-10-17-2] - [を] Modern Information Retrieval 第二版の発売が2009年

IT系NLP系ニュース【2010/3/8】 2010-03-08-3 [NLP][Algorithm][News] 情報系、自然言語処理(NLP)系の話題いくつか。 - 【PDF】情報処理学会全国大会プログラム http://www.gakkai-web.net/gakkai/ipsj/72program/html/outline/program.pdf 今日からやってる。 言語処理学会年次大会などいくつかの大会と共催。 iPhoneに入れたけど見にくいなあ。やっぱ紙か。 - 【移転】グーグル、六本木ヒルズ森タワーに東京オフィスを移転 http://kenplatz.nikkeibp.co.jp/article/nfm/news/20100304/539755/ 渋谷のセルリアンから六本木ヒルズへ。元ヤフーのフロア群かな。連続フロアで借りられるオフィスビルはそうそうないからな。 - 【開発

台灣離島超好玩，尤其澎湖美景無敵，總是吸引不少觀光客前去觀光！2023年澎湖花火節即將在4/20登場啦~~馬上推薦５間在澎湖馬公的高質感住宿，讓你玩的豐富也住的舒服！ 澎湖住宿推薦｜野渡假旅店 Wild Hotel 野渡假旅店位在熱鬧的馬公市區內，鄰近澎湖海上花火節舉辦地「觀音亭海灣」，在這邊可以零距離欣賞亮麗的煙火！此外，野渡假旅店地理環境優越，步行兩分鐘就可以抵達海邊，與海共舞、欣賞絕美夕陽；附近生活機能便利，超商、自助洗衣店等走路就可以抵達。 野渡假旅店以工業風為設計基礎，將水泥牆、紅磚、木頭相互搭配，獨樹澎湖旅宿的全新「粗野」的奔放風格，同時也提供旅人一個溫暖而舒適的休息空間。最特別的是，野渡假旅店提供兩種寵物友善的房型，可以放心地帶毛小孩來澎湖玩了！如果有帶家裡的狗狗貓貓來，要記得提前告知住宿喔～

選択テキスト中のキーフレーズでウェブ検索するブックマークレット 2009-07-16-3 [Programming][YahooHacks][NLP][Bookmarklet] ブラウザ上で選択したテキストからキーフレーズを取り出してそれらでウェブをAND検索するためのブックマークレットを作りました。 キーフレーズの抽出にはこれを使用しています。 JSONP が使えるので Bookmarklet にも手軽に使えます。 - Yahoo!デベロッパーネットワーク - テキスト解析 - キーフレーズ抽出 http://developer.yahoo.co.jp/webapi/jlp/keyphrase/v1/extract.html なお、Firefox での動作しか想定していません。 IEだと動きません。 使い方 (1) 下記のリンクをブラウザのブックマークに登録してください。 「抽出＆検索」

Yahoo!のテキスト解析系APIとウェブ検索APIの使い方についてのプレゼンで出てきたURLのリスト 2009-07-10-2 [Programming][YahooHacks] 「Yahoo! JAPAN × ロクナナワークショップ クリエイティブカレッジ」[2009-07-10-1]で話した内容のフォロー、というか、プレゼンで出てきたURLのリストです。 なお、プレゼンの内容は、Yahoo!ウェブサービスのテキスト解析系APIの使い方Tipsとウェブ検索APIを使ったテキストマイニングについてでした。 ■第一部：テキスト解析APIの活用方法 - Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html - Y!API demo forms - 日本語形

テキストに含まれる重要フレーズを抽出してくれる「Yahoo! キーフレーズ抽出API」を使ってみた 2009-07-05-3 [Programming][YahooHacks][NLP] Yahoo!デベロッパーネットワーク(YDN)にキーフレーズ抽出APIが登場しました。 テキストを渡すとそこに含まれる重要そうなフレーズを抽出してくれるAPIです。 公開から一ヶ月ほど経っていて目新しさはないのですが、ハックしてみたのでご報告。 - Yahoo!デベロッパーネットワーク http://developer.yahoo.co.jp/ - Yahoo!デベロッパーネットワーク - テキスト解析 - キーフレーズ抽出 http://developer.yahoo.co.jp/webapi/jlp/keyphrase/v1/extract.html - キーフレーズ抽出API の紹介 (Yahoo!

今日は機械翻訳勉強会だったのだが、修士の人も入ってきてくれたので、一度基本的な論文からしっかり勉強しましょうか、という感じで原典を読むことに。(上記リンク先に eric-n さんが統計的機械翻訳の基礎的な論文のリストを作ってくれている) 今日は IBM Model 1 で終わり。そういえば M1 で入学したとき、一番初めに論文紹介したのはこの論文だった(入学した当初は機械翻訳の研究をするつもりだったので)。 Statistical Machine Translation 作者: Philipp Koehn出版社/メーカー: Cambridge University Press発売日: 2009/12/17メディア: ハードカバー購入: 1人 クリック: 12回この商品を含むブログ (16件) を見る 2年くらい前から出る出る言っていた統計的機械翻訳のテキスト本だが、とうとう今年の8月に出る

指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。

筑波大で講演してきました 2009-05-26-2 [NLP] 筑波大学のコンテンツ工学セミナーで話して来ました。 内容は自然言語処理の基礎と現場での応用、ウェブAPIの活用レシピ、などです。ここ数年、あちこちの大学などで講義した内容をがっつり詰め込みました(案の定時間が足りなくなりましたが…）。 数多くのネタを提示することが最大の目的だったゆえ、つっこんだ話は無し。参加者方々に何かしらの研究のヒントを与えることができていたらば幸いです。 途中、実際にNLPを使用したネットサービスをデモ形式で紹介しようと思ったのですが、イーモバイルの電波状況が悪かったのであまりできませんでした。 下記にデモしようと思ったサイトを挙げておきます。 某ポータルサイトにおいて何かしらの自然言語処理技術が使われていそうな何かのうちのいくつかです。 (1) 自動カテゴリ分類の例としてコンテンツマッチ商品提示。 -

ACL 2008で既に読めるようになった論文で面白かったやつ "Learning Bilingual Lexicons from Monolingual Corpora" A. Haghighi, et. al. to appear ACL2008 pdf タイトルは衝撃的な内容だが、内容も面白い。 従来統計的機械翻訳では、翻訳ペア、フレーズ抽出は対訳コーパス、つまりロゼッタストーンのように同じ内容が複数言語で書かれているようなデータを元にし学習するのが一般的だったが、この方法の欠点はもちろんそのような対訳コーパスが無い言語間ではこの手法が使えないということだった。顕著なのは日本語で、他の主要言語間は国連の公用語なら国連の議事録、EU加盟国ならEUの議事録とかから大量で高精度のコーパスが（しかも安価で)手に入るのだが日本語はそのようなペアがない。これも日本語の統計的機械翻訳の精度がいまいち