LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事

2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで佐藤敏紀氏が、日本語の大規模汎用モデルを搭載した「HyperCLOVA」について紹介しました。まずはHyperCLOVAとはどういったものなのかについて。 色鉛筆とチャットで会話 佐藤敏紀氏：「日本語に特化した、大規模汎用モデルを搭載した『HyperCLOVA』の現状」という発表をします。よろしくお願いします。 最初に自己紹介をします。私は佐藤敏紀と言います。自然言語処理と検索を専門にしているソフトウェアエンジニアです。以前はLINE CLOVAの日本語のNLUシステムの開発を担当していましたが、2021年からはNLP開発チームのマネージャーをしており、HyperCLOVAの日本語版の開発面に関する責任者もし

はてなブログでは、新機能「はてなブログ タグ」をリリースする予定です。今回はその予告として、機能の概要とリリースに至る背景をお伝えいたします。 リリース時期は2019年夏ごろを予定しておりますが、開発の状況によって変更する可能性があります。 はてなブログ タグで、できるようになること リリースにあたって はてなブログのコンテンツを、多くの方に届けるために はてなキーワードを、時代背景にあわせ、より気軽にご利用いただくために 今後の開発予定 はてなブログ タグで、できるようになること はてなブログ タグでは、はてなキーワードの本文データ、はてなブログ・はてなブックマークのコンテンツを活用し、ある言葉についてネット上の意見や感想を知ることができます。 はてなブログをご利用の方も、そうでない方も、言葉の意味やネット上の意見を同時にチェックできるようになり、自分の興味のある記事を探しやすくなります

自然言語処理ってなに？課題は？ 研究者に聞く、エンジニアが学術論文を読み解くための技術 多くのサービスに実装される自然言語処理ですが、そもそも一体どのような技術なのでしょうか？東京工業大学で研究にあたる、西川 仁助教に自然言語処理の歴史と現在。そしてどのような課題があるかをうかがい、さらにエンジニアが学術論文を読み解き、役立つ情報を手にするための手法も聞きました。 技術に関する最新の情報を得るための手段は様々ですが、“学術論文を読む”とは、その有力な手段の一つでしょう。しかし、数多くある論文から、自分の目的とする情報をいかに探し出し、いかに読むのが効率的なのでしょうか。そして、日頃から論文にふれる機会の多い研究者の方はどのように論文から情報収集を読み解いているのでしょうか。 今回お話をうかがったのは、自然言語処理研究のフロントランナーとして、東京工業大学に所属し、自動要約の研究をされている

昨今ホットワードとして度々取り沙汰される「AI」。実際の企業や製品の中ではどのように導入や活用が進んでいるのでしょうか。 デジタルゲームにおけるAI技術の開発・研究に従事し、日本デジタルゲーム学会理事でもあるスクウェア・エニックスの三宅陽一郎氏と、スマートスピーカーという急成長する新しい領域でAIの可能性を見出そうとするLINEの佐藤敏紀氏が、各業界でのAI活用と、人間とAIの関係性について議論します。 ＜対談者プロフィール＞ 株式会社スクウェア・エニックス テクノロジー推進部 リードAIリサーチャー　三宅 陽一郎氏 京都大学で数学を専攻、大阪大学大学院理学研究科物理学修士課程、東京大学大学院工学系研究科博士課程を経て、人工知能研究の道へ。 ゲームAI開発者としてデジタルゲームにおける人工知能技術の発展に従事。国際ゲーム開発者協会日本ゲームAI専門部会チェア、日本デジタルゲーム学会理事、芸

はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft, ポートフォリオ：http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取り組んでいました。 その後はアルバイトとして、期間中にできなかった追加実験と実際の製品への適用に取り組んでいます。 取り組んだタスク 突然ですが、みなさま、ハッカドールはインストールされていますか？ ハッカドールは、主にサブカルチャーに関する記事に特化した、ニュースアプリケーションです。 アプリケーション内のユーザーのクリックや「ホシイ/イラナイ」などのアクションを通して、ハッカドールがユーザーの好み

LINEは6月15日、クラウドAIプラットフォーム「Clova」を搭載したスマートスピーカー「WAVE」を今秋に発売すると、都内で開いたイベント「LINE CONFERENCE 2017」で発表した。価格は1万5000円（税別）。 WAVEは同社初のスマートスピーカー。「Clova、テレビ消して」などと話し掛けるとテレビを消すなど、家電製品との連携機能を搭載する。対応するメーカーは世界で約2000社。WAVEは日本の住宅環境に合わせて開発しており、本体から5メートルほど離れた位置で話しかけても認識するという。 サービスの中核となるのは「音楽」で、LINE MUSICが提供する約4000万曲の楽曲が聴ける。楽曲名やアーティスト名で曲を指定できるほか、「今日の天気に合わせた音楽をかけて」と話し掛ければ、雰囲気や好みに合った楽曲を流してくれるという。 通常、LINE MUSICを利用するには月額

LINEは6月15日、同社が1年に一度開催する大規模カンファレンス「LINE CONFERENCE 2017」にて、音声AIプラットフォーム「Clova」を搭載したスマートスピーカ「WAVE」の価格と発売時期を発表した。 発売は2017年秋ごろを予定しており、価格は1万5000円（税別）。また、いち早く提供すべく一部機能に限定した先行体験版を2017年夏ごろに発売予定。こちらは1万円（税別）と安価だが、正式版の提供と合わせてアップデートを実施。正式版と同様の機能が利用できるという。 WAVEは、同社のAIプラットフォーム「Clova」を搭載したスマートスピーカ。Amazonの「Echo」やAppleの「HomePod」、Googleの「Google Home」などのスマートスピーカと同様、「Clova」と話かけると音声でコミュニケーションでき、「LINEニュース」と連携したニュース・天気情

ポエムを適当に書きます。2本立て。週末のノリなので、適当です。 Sentencepieceの紹介記事を読んだ 文書分類でneologdとmecabを比較した まとめ Sentencepieceの紹介記事を読んだ ニューラル言語処理向けトークナイザのSentencepieceについて書かれた紹介記事を読みました。 自分用の要約すると ニューラル言語処理では語彙数が大きくなると扱いにくい 単語をサブワードに分割できるものは分割して、語彙数を制限する(数千から数万)方法がよく使われる 尤度を最大にするエントロピー圧縮の一部と見なせる スペースもメタ文字に置き換えて生文を食わせることにより、detokenizeが言語によらず簡単になる 翻訳等のタスクで助かる! こういうのが必要なくなる 単語分割されたものからさらに分割するわけではなく、生文からやるために計算量オーダーの削減が行なわれている 従来の

こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報サイトで「東京」と検索した時にDBの中には数千件のデータがあるのに検索結果数がわずか数件しかないような状態です。 欲しくな

nora(野良)-idf-dic モチベーション LevelDB(kvs)を利用した省メモリ設計で、すべてのWikipediaのコンテンツコンテンツを取得して処理したい XGBoostやElasticNetなど他のアルゴリズムでの前処理にを楽にしたい JSONスキーマなので、Python以外の他のスクリプト言語でも利用可能にしたい ダウンロードリンク Dropboxにアップロードしております。 www.dropbox.com フォーマット idfはjsonのdict型（ハッシュマップとも言います）です。 idf = { term1: weight1, term2:weight2, ... } このようなフォーマットになっており、単語とidfの重みがペアになって格納されています。 式の説明 tf-idfはヒューリスティックなものなので、そもそも明確なんてないんですが、一番、わたしとわたしの周

やりたいのは 1文字だけの改行の拒否 - Hail2u のようなことの延長です。長めの見出しがブラウザによって改行されると、どうもバランスが悪くなったり可読性が微妙になることが多い。これをなんとかする。 仕様 元の高さから変わらないこと 非同期にやってもガタガタしないこと 各行ができるだけバランスをとること 文字数 (正確には幅) をあわせる 元の高さから変わらないことというのは行数を変えないということです。これを制約にしてページ全体の高さに影響を与えないようにすることで、非同期的に行数を調整しても閲覧に支障がないようにという意図があります。 「各行のバランス」はできるだけ行ごとの幅を揃えるという意味でいっています。基本的に幅が揃うことはないので、あくまでできるだけです。また、揃わない場合には一番下の行が一番長くなるようにします。これはデザイン上、重心が下になるほうが安定して見えるからです

商用利用自由で無償な自然言語処理資源として定期更新を始めて1年経った NEologd(色々あるのでまとめてNEologdと呼ぶ) について、便利〜、役立つ〜、ありがたい〜、わかる〜などとお声がけ頂く機会が増えありがたいのですが、一体どこでお役に経っているのかよく分からないという現状があります。 Twitterを眺めていると、MeCabのユーザー辞書や、Elasticsearchのkuromoji-neologd・シノニム辞書で解決できる課題について悩んでいるエンジニアさんもこの世に居ることは確実ですが、でも誰がどう悩んでるのか具体的な内容がネット上にはほとんど表出しません。 とある言語資源をどう実サービスで使うのか、実サービスで使える言語資源をどう作るのか、その資源をどうやって維持していくか、すでに公開されている超有益だけどあまり使われていない言語資源はどこにあるのか、言語資源を作るとかい

「LINEヤフーDesign 公式note」 LINEヤフー株式会社のデザインに関連するさまざまな情報を発信するLINEヤフーDesign 公式noteです。

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert