「LINEヤフーDesign 公式note」 LINEヤフー株式会社のデザインに関連するさまざまな情報を発信するLINEヤフーDesign 公式noteです。

こんにちは。ウェブアプリケーションエンジニアのid:syou6162です。 はてな社内で機械学習や自然言語処理に興味のあるエンジニアが集まる機械学習サブ会という技術グループがあるのですが、その機械学習サブ会が主催で言語処理学会第23回年次大会(NLP2017)と第9回データ工学と情報マネジメントに関するフォーラム(DEIM2017)の論文読み会を行ないました。このエントリでは、その中でも特に面白かった論文を簡単にレポートしていきたいと思います。なお、論文PDFは各学会ページで公開されているものを参照しています。 ニュース制作に役立つtweetの自動抽出手法 疑似データの事前学習に基づくEncoder-decoder型日本語崩れ表記正規化 データ拡張による感情分析のアスペクト推定 文体の類似度を考慮したオンライン小説推薦手法の提案 機械学習を用いた航空会社の業務支援システムの開発 このユーザ

New York’s state legislature has passed a bill that would prohibit social media companies from showing so-called “addictive feeds” to children under 18, unless they obtain parental consent. The Stop…

記事に見出しをつけることは一部の人間が習得する技能であり、機械が学習するのは特に難しい技術だ。 Googleはコンピュータが文章の内容をまとめる際に遭遇する難関を乗り越え、「非常に良い」見出しをつけられる機械学習アルゴリズムを開発したと発表した。 Googleの「TensorFlow」ソフトウェアライブラリに基づいてGoogle Brain Teamが開発したこのモデルは、記事から抜粋した内容を元に、まずまずの見出しを作成した。 同ソフトウェアは「metro-goldwyn-mayer reported a third-quarter net loss of dlrs 16 million due mainly to the effect of accounting rules adopted this year」（主に今年採用した会計規則の影響によって、Metro-Goldwyn-May

情報処理における全国のエキスパートが一堂に会したリクルート主催の「春の情報処理祭」。ニュースキュレーションアプリやスマホのインターフェースにおいて注目度が高まる「自然言語処理」の重要性について、株式会社プリファードインフラストラクチャーの海野裕也氏が解説しています。（春の情報処理祭りin京都より） 自然言語処理の専門でない方にこそ、新しい研究をするチャンスがある 海野裕也氏：こんにちは、プリファードの海野と申します。私は自然言語処理のお話をさせていただこうと思います。自然言語処理という言葉は、多分皆さん聞いたことあると思うんですけども、自然言語処理を専門でやっているっていう方、どれぐらいいらっしゃいますか？　意外といた。 実は、今日のこのスケジュールが言語処理学会の全国大会とかぶっていまして、今、多分裏で京大のほうでチュートリアルをやっているんで、あまりいないのかなと思ってたんですけども、

フランスの希代の美食家であるブリア・サヴァランは「ふだん何を食べているのか言ってごらんなさい、そしてあなたがどんな人だか言ってみせましょう」といったそうだ。これは、「ドン・キホーテ」の有名な一文「君の友人を教えなさい、そうすれば君がどういう人間か言ってみせよう」をもじったものであるが、示唆に富んだ文である。その人が何を食べるか（もっと正確に言えば、何を食べないか）によって、その人の育ちや信仰、文化的・民族的背景など様々なことを知ることが出来る。 同様に、口コミもそれを書いた人について多くを物語る。ここで試しに、以下に挙げた食べログの口コミを読んで頂きたい。 バラのクリームにたっぷりのフランボワーズをマカロンとともに。ルバーブのアクセント。コレめっちゃカワイイ（*^_^*）　一目ぼれです☆　バラにフランボワーズにマカロンにピンクときたら、女子にはたまらない～！ ちょっと高めの価格設定やけど、

佐賀県武雄市に続くいわゆる“TSUTAYA図書館”として、10月1日にリニューアルした神奈川県の海老名市立中央図書館の蔵書検索で「出エジプト記」を調べるとなぜか「旅行／海外旅行／アフリカ／エジプト」に分類される謎現象が。そのほかの書籍でもおかしな分類があるとネットで話題です。 「出エジプト記」は、モーセが虐げられていたユダヤ人を率いてエジプトから脱出する物語を中心に描いた旧約聖書の一部。分類としては「人文／宗教／キリスト教／聖書」が妥当のはずですが、まさかの旅行記扱いに「旅行本扱い」「るるぶ」とつっこむ人が続出しています。旅行だとすると序盤に海を割って進んだり、信仰力が試されることが多すぎてかなりわくわくどきどきな内容になりそうです。 リニューアルされた海老名市立図書館 TSUTAYA図書館の先駆けとなった武雄市図書館（佐賀県武雄市）に追加納入した蔵書が「まるで在庫処分ではないか」と批判さ

こんにちは。はてなチーフエンジニアの id:Songmu です。 去る、6月16日（火）にHatena Engineer Seminar #5をはてな東京オフィス、イベントスペースにて開催いたしました。火曜の夜という時間帯にも関わらず、多数のご参加誠にありがとうございました。 今回は、全文検索やレコメンドエンジン、機械学習などコアな技術について、はてなならではの取り組みをお伝えできたのではないかと思います。 それぞれ短いながらボリュームのある内容であったので、参加者の皆様の頭も疲れたのではないかとも思いますが、その後の懇親会も非常に盛り上がっていたのも開催者として非常に嬉しく思いました。 これからも、定期的にEngineer Seminarを開催し、皆様にはてな内での技術的取り組みをお伝えしていきます。また、アンケートにも皆様熱心にお答えいただきましてありがとうございました。頂きましたフィ

gooラボ、日本語解析技術APIを公開 NTTレゾナントが日本語データの解析を支援する日本語解析技術APIをgooラボで公開。固有表現抽出、形態素解析、ひらがな化、語句類似度算出の4つ。今後も順次公開予定。 公開日時：2014年12月04日 07:19 NTTレゾナント株式会社は2014年12月3日、NTT研究所が開発して同社の検索エンジン「goo」で利用してきた、日本語解析技術に関連するAPIを公開した。gooラボから利用できる。 同社は1997年に提供開始した検索エンジン「goo」の運営しており、様々なWeb検索に関わる技術やノウハウを蓄積してきたほか、NTT研究所との連携により、様々な世界有数の技術を有する。同社は今後、こうした技術が企業のビッグデータ解析技術などの分野において活用が見込まれることから、APIの公開を順次行うことを決定した。 第一弾は、ビッグデータ解析などにおいて必要

こんにちは、はてなアプリケーションエンジニアの id:skozawa です。現在は、ブックマークチーム、及び、プラットフォームチームで開発をしています。 先日リリースされたはてなブックマークの新機能「トピック」の裏側について、Hatena Enginner Seminar #4で紹介しました。 Hatena Enginner Seminar #4で紹介した資料に少し加筆・修正を加えたものを公開します。 内容 「トピック」機能は、はてなブックマーク開発ブログにもある通り、これまで何人かのエンジニアが挑戦してきましたが、実現できていませんでした。その主な要因として、 トピック生成の精度が低い トピックタイトル生成が難しい という問題があり、これらを検索技術と自然言語処理技術によって解決することによりベータリリースへとこぎつけました。 トピック生成 これまでキーワードなどを用いて記事をクラスタリ

こんにちは、はてなブックマークのディレクター id:jusei です。本日、はてなブックマークの新機能「トピック」をベータリリースしました。現在はPC版でのみご利用いただけます。スマートフォン版、iOSアプリ、Androidアプリでは順次対応していきます。 新機能「トピック」では、「人気エントリー」に掲載されている記事の中から関連性の高い記事をまとめ、さらにそれ以外の関連エントリーも含めて一覧できる「トピックページ」を生成します。各トピックの見出しは、自然言語処理技術を用いて自動生成しております。トピックページの生成対象は、過去10年間に蓄積されたはてなブックマークの全エントリーです。 2015年1月のトピック2005年2月のトピック トピックページには、ユーザーの皆さまの間で多く話題になっている記事を抜粋して表示する「ハイライト」、すべての記事を表示する「新着」の2つの表示モードがありま

Rakuten MA (morphological analyzer) is a morphological analyzer (word segmentor + PoS Tagger) for Chinese and Japanese written purely in JavaScript. Rakuten MA has the following unique features: Pure JavaScript implementation. Works both on modern browsers and node.js. Implements a language independent character tagging model. Outputs word segmentation and PoS tags for Chinese/Japanese. Supports i

概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ

[対象: 上級] ものごとの意味を理解すること、いわゆるセマンティックの領域におけるGoogleの能力が著しく向上している事実をこの記事では紹介します。 検索クエリに一致していないワードであっても意味的に同じワードをGoogleが太字（ボールド）で表示している例をMark Traphagen（マーク・トラファーゲン）氏が発見しGoogle+に投稿しました。 Googleのセマンティック能力の進歩を裏付ける格好の具体例でした。 似た事例を日本語の検索で僕も見つけたので紹介します。 Googleが意味的に同じ言葉をボールド表示する例 「取り除く」と「除去」「除去」 下は、「Google 不自然リンク 取り除く」の検索結果です。 赤の矢印が指している「取り除く」が太字になっているのはいつもどおりです。 ところが緑の矢印が指している「除去」と「削除」も太字になっています。 「除去」も「削除」も検索

2. ⾃自⼰己紹介 l  海野 　裕也  (@unnonouno) l  unno/no/uno l  研究開発部⾨門 　リサーチャー l  専⾨門 l  ⾃自然⾔言語処理理 l  テキストマイニング l  職歴 l  2008/4~2011/3 ⽇日本アイ・ビー・エム（株）東京 基礎研究所 l  2011/4~ 現職 2 3. 今⽇日の発表の⽬目的 l  形態素解析器の中で何が⾏行行われているか l  コスト最⼩小化, HMM, MEMM, CRF etc. , l  JUMAN, Chasen, MeCab, etc. l  ・・・だけだとよくあるので、最新の⼿手法と過 去の⼿手法をまとめる l  現在の問題点に関してもまとめる 3

件名： 主人がオオアリクイに殺されて1年が過ぎました。 差出人： 久光 いきなりのメール失礼します。 久光さやか、29歳の未亡人です。 お互いのニーズに合致しそうだと思い、連絡してみました。 自分のことを少し語ります。 昨年の夏、わけあって主人を亡くしました。 自分は…主人のことを…死ぬまで何も理解していなかったのが とても悔やまれます。 主人はシンガポールに頻繁に旅行に向っていたのですが、 それは遊びの為の旅行ではなかったのです。 収入を得るために、私に内緒であんな危険な出稼ぎをしていたなんて。 一年が経過して、ようやく主人の死から立ち直ってきました。 ですが、お恥ずかしい話ですが、毎日の孤独な夜に、 身体の火照りが止まらなくなる時間も増えてきました。 主人の残した財産は莫大な額です。 つまり、謝礼は幾らでも出きますので、 私の性欲を満たして欲しいのです。 お返事を頂けましたら、もっと詳

Google は、検索を使いやすくするために、日々改善を続けています。昨年は、検索結果ページのリニューアルやレシピ検索等、ユーザーの皆さんに見える機能を含め、500 以上の改善を施しています。今日は「見えにくい」改善のひとつとして、同義語システムについてご紹介します。 日本語には、ひらがな、カタカナ、漢字、アルファベット等、多様な種類の文字があり、同じ言葉でも、さまざまな書き方があります。文字種違いの同義語への取り組みについては、以前の記事でもご紹介しましたが、これは、一見簡単そうで実は奥の深い問題です。一見すると、日本語入力に使っている辞書のようなものがあればよいように思いますが、人手を介さずに正しい同義語を見つけるのは単純ではありません。 たとえば、「しょうぶ」という言葉は「勝負」「菖蒲」「尚武」などさまざまな漢字を当てることができますが、それぞれ異なる意味を持っていて、探している情報