日本語のページをブラウザで見ているとおかしな位置で改行されることが多いのですが、単語と単語の間にスペースを入れる英語などと異なり、日本語では分かち書きがされていないのが原因。単語の途中で文章が折り返されてしまう原因になっています。BudouXは機械学習モデルを利用して容量を抑えつつ、サードパーティーのAPIやライブラリに依存せずに分かち書きを行ってくれるオープンソースライブラリなので、読みやすい改行が実現できます。 Google Developers Japan: BudouX: 読みやすい改行のための軽量な分かち書き器 https://developers-jp.googleblog.com/2023/09/budoux-adobe.html BudouXの使用イメージは下図の通り。従来は画面幅によっては「最先端」や「テクノロジー」などの単語の途中で改行が行われてしまう事がありましたが、

［CEDEC＋KYUSHU］雑談もできる。「NLPアドベンチャー」が解決したコマンド入力式アドベンチャーゲームの宿題 ライター：箭本進一 2022年11月12日に九州産業大学で開催された，ゲーム開発者向けカンファレンス「CEDEC＋KYUSHU 2022」で，「自然言語処理技術による新世代コマンド入力式アドベンチャーゲームの制作手法」と題した講演が行われた。コマンド入力式アドベンチャーゲームに，最新の技術を取り入れて長年の“宿題”を解決するというもので，スクウェア・エニックスのAI部 AIリサーチャーである森 友亮氏が，その手法を解説した。 スクウェア・エニックスのAI部 AIリサーチャーである森 友亮氏 コマンド入力式の“宿題”が長年を経て解決 森氏がデモンストレーションを行った「NLPアドベンチャー」は，コマンド入力式アドベンチャーゲームだ。プレイヤーは，相棒の「ヤス」に対し，行動指示

背景 「造語対義語」がちょっと面白いと思ったので、Word2Vecを応用して機械に作らせてみよう！という試み。 やりたいことは、以下のようなギャグ対義語を自動生成すること。 「赤の他人」⇔「白い恋人」 「ウサギは寂しいと死ぬ」⇔「ゴリラは孤独を背負い生き抜く」 「生きろそなたは美しい」⇔ 「死ねブス」 「冷やし中華始めました」⇔ 「おでんはもう辞めました」 「コアラのマーチ」 ⇔ 「ゴリラのレクイエム」 「やせ我慢」 ⇔ 「デブ大暴れ」 「生理的に無理」 ⇔ 「理論上は可能」 「ゲスの極み乙女」 ⇔ 「ほんのりピュア親父」 「週刊少年ジャンプ」⇔「月刊老人スクワット」 「お母さんと一緒」 ⇔ 「お父さんは別居」 「そんなんじゃ社会に出てから通用しないぞ」 ⇔ 「それだけの力があれば幼稚園では無敵だろう」 果たしてWord2Vecを活用して、このようなユーモアを生み出せるのか！？ 本投稿の内

踊る人形式で解けそう あとでやってみよ♪ https://t.co/CeK6jJaNkW

｢シーマン人工知能研究所｣の斎藤由多加さんにインタビュー。『シーマン』が次世代会話エンジンのヒントになる!?2017.07.20 18:5510,449 ヤマダユウス型 1998年に発売された家庭用ゲーム機、ドリームキャストの味を決定づけた名作ソフト『シーマン ～禁断のペット～』。その開発者として知られるゲームクリエイターの斎藤由多加さんが、2017年6月に｢シーマン人工知能研究所｣なるサイトを立ち上げました。 ｢シーマンの続編のためのプロジェクトが始まったのか!?｣とも思える字面ですが、サイトの説明によると、AIが用いる会話エンジンについての研究を目的としているとのこと。『シーマン』ではマイクを使って妙ちきりんな人面魚とユル～く対話したものですが、その経験がAIの会話エンジンにも活かせるのではないか？と仮説を立てたそうです。 斎藤さんがイメージする会話エンジンとはどういうものなのか、また

3行まとめ Recurrent Neural Networkによるかな漢字変換をTensorFlowを使って実装しました。 既存手法のN-gramと比べて高い精度（文正解率2.7ポイント向上・予測変換3.8ポイント向上）を実現しました。 RNNの特性により離れた単語の共起関係と低頻度語の扱いが改善されました。 かな漢字変換とN-gramモデルの限界 パソコンやスマートフォンで日本語を入力するためのかな漢字変換には、同音異義語や単語区切りに曖昧さがあります。この問題に対処するため、現在は大規模な訓練データに基づく統計的言語モデルが主流になりました。その中でも代表的な単語のN-gramモデル1では、連続する単語列の頻度を使って言語モデルを構成し、変換候補の確率が高いほど順位が高いと考えます。 しかし、N-gramモデルには離れた単語の共起関係を考慮できないという問題点（マルコフ性）と、低頻度語

ぬかいわし、タレカツ、鶏の半身揚げ、そして笹団子。新潟を平らげる２泊３日 今回の旅の目的地は新潟。新潟には申し訳ないのだが、自発的に決めた目的地ではない。ＪＲ東日本の「どこかにビューーン！」という行き先ガチャサービスにより決定されたのだ。新潟といえば酒どころ米どころ。ちょうど新米の季節だ。どんとこい。古町エリアに宿を取っ…

1. 講演 2012/2/2 @ 東北北⼤大学  産学連携講義：先端技術の基礎と実践 ⼤大規模データ時代に求められる ⾃自然⾔言語処理理 株式会社Preferred Infrastructure 岡野原  ⼤大輔 hillbig@preferred.jp 今回の発表内容は個⼈人の意⾒見見であり、 会社の意⾒見見ではありません 2. ⾃自⼰己紹介 l  名前：岡野原 　⼤大輔 l  経歴： l  福島県いわき市⽣生まれ、磐城⾼高校（ラグビー部） l  東京⼤大学理理科⼀一類→同情報理理⼯工学研究科コンピュータ科学博⼠士課程 2010年年3⽉月終了了、情報理理⼯工学博⼠士（その間未踏2本、ユース1本） l  株式会社プリファードインフラストラクチャー 2006年年創業 l  研究開発チームのリーダー&戦略略&企画&開発&雑⽤用などいろいろ l  専⾨門分野は統計的⾃自然⾔言語処理

Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo

機械学習の3大有名手法といえばSVM、CRF、LDAではないだろうか(と勝手に思っている)。 SVM(Support Vector Machine)については以前記事を書いたので今回はCRF(Conditional Random Fields)について書いてみたい。 機械学習超入門IV 〜SVM(サポートベクターマシン)だって30分で作れちゃう☆〜 - EchizenBlog-Zwei といっても今回はさくっと読んでもらうのを目的にしているので手法の具体的な解説は行わない。具体的な部分は@uchumik氏の資料がとても詳しい｡ uchiumi log: 間違ってるかもしれないCRFの説明 また、実装方法については高村本(言語処理のための機械学習入門)がとても詳しい。 さて、具体的な解説をしないなら何をするの？ということだが、今回はそもそもCRFとは何かという話をする。過去の経験上この、そも

機械学習には大きく分けて「識別関数」「識別モデル」「生成モデル」の3つの種類がある。このなかで識別関数は確率を使わないので初心者が入門するのに最適。 識別関数で有名なのはSVM(Support Vector Machine、サポートベクターマシン)。名前を聞いたことがある人も多いと思う。そこで早速SVMを学ぼうとすると敷居が高くて挫折しがち。 実はSVMは(大雑把に言うと)パーセプトロンという基礎的な識別関数に「マージン最大化」と「カーネル関数」という考え方を導入したもの。なので機械学習入門者は最初にパーセプトロンを学ぶのが良いと思われる。 そこで早速パーセプトロンを作ってみよう！というのが本記事の意図するところ。自分で実装できるとモチベーションが維持しやすいので、詳しく理論を学ぶ前にまずは作ってみようという考え。ちなみに実装にはperlを用いた。 参考: これからはじめる人のための機械学

テキストマイニングに必要なパターン認識と機械学習について学びます。非常に初歩的な話から始めます。対象者は「テキストマイニングに興味があり、用いられる手法の中身を知りたい（けれど高度な数学は厳しい…）」というビジネスマンや学生さんです。数式は出来る限り「使います」。使わないと意味するところは理解できません。ただし、愚直に数式の一行一行を手計算で順を追って解いていきますし、必要な数学知識はその都度説明し、前提知識は求めませんので「数式出てくるの？じゃあついていけないのでは…」という心配は不要です。この記事の特徴は「機械学習の手法をやたら冗長な数式と過剰なまでの例を用いて、くどくどと同じ話を何度も説明する」ことです。 筆者ことあんちべは純文系出身で、数学や統計学、プログラミングは全然学生時代やってこなかった上、業務でも機械学習を使うことなんて皆無、それどころか機械学習なんて言葉は就職してからよう

豊橋で豊橋カレーうどんを食べてきました。徳永です。 金曜日から大変な地震が発生しています。被災地の皆様のご無事と、救助に向かわれた方のご無事をお祈りいたします。 さて、今回は、3/7〜3/11の間、豊橋技科大で行われた2011年の言語処理学会年次大会の参加報告をしたいと思います。私はC4セッション(日本語入力における言語処理(1))で、「C4-6 日本語かな漢字変換における識別モデルの適用とその考察」というタイトルで発表してきました。 予稿集のPDFの方は、こちらにアップロードしておきました。→日本語かな漢字変換における識別モデルの適用とその考察 発表内容に関しては、予稿のPDFと発表資料の方を見ていただければと思いますが、ここではもう少しぶっちゃけて、発表の狙いなどを書いてみたいと思います。 この発表の貢献を簡単に述べると、識別モデルを使うと変換精度が上がることが実験的に確かめられたよ、