When you open a document with an encoding different than the one it was created with, it's not possible to display the original text, and instead a garbled mess of corrupted characters are printed out. These are called "mojibake" in Japanese, and the word has also been borrowed into English. While mojibake aren't readable by humans, it turns out that different kinds of mojibake have different visu

A lot of thanks to @Yuki Inoue and @aki for the translation! 問題の背景 約1年前に、Stack Overflowの英語からロシア語へ機械翻訳されたコンテンツのサイトがたくさん登場し、ロシア語を話すプログラマーはそのようなサイトの増加に困惑しました。毎月そのようなサイトがデータベースに100万もの翻訳を追加するのです。このようなサイトは数多くあり、今年の春にはこれらのサイトがほぼすべての検索クエリでロシア語の検索結果を支配し始めました。サイト上の機械翻訳は、書かれているもののほとんどは意味を理解できないほど低品質なのです。ロシア語を話すプログラマーの間で多くの不満を引き起こしました。 どのようにロシア語版コミュニティは問題に対応していますか？ コミュニティからのいくつかの要望ののちに、私たちは機械翻訳のサイトの一覧を作成しました。

O'ReillyのOnline Learning(旧O'Reilly Safari Books Online)は月額$49でオライリーの本や動画などが見放題になるエンジニア向けのサブスクを提供している。以前は英語の本しか読めなかったが、いつからか日本語の本も読めるようになっていたのでメモ。 www.oreilly.com Sign Inして、左のメニューのSettingsをクリックするとLanguage Preferencesがあるので、ここでJapaneseにチェックを入れて下のUpdate Preferencesをクリックして保存する。 これでHomeに行き、例えばGraphQLで検索すると検索結果の画面でBooksのタブがあるのでこれを選択する。そうするとLanguageの選択ができるので、ここでJapaneseを選ぶと日本語の本だけに絞ることができる。(手っ取り早く検索結果を表示し

1992年三重生まれ、会社員。ゆるくまじめに過ごしています。ものすごく暇なときにへんな曲とへんなゲームを作ります。 前の記事：無糖の飲みものに砂糖を入れる ＞ 個人サイト ほりげー インターネットは文字化けと共にある インターネットが普及して20年をゆうに超える。メール、添付ファイル、Webブラウザなど、様々な場面で我々は文字化けに苦しめられてきたし、今でもたまに苦しめられる。「文字が化ける」と書いて文字化け。そこにはお化けみたいで悪いイメージがあるが、それも仕方がない。読めないのだから。必要な情報が読めないのはシンプルに悪いことだ。 DPZの記事を無理やり文字化けさせてみると、こうなる。 でも、一方的に文字化けを避けていては、文字化けと仲良くなれない。文字が化けた先にあるのは文字だ。化ける前の文字ばかり愛していては、化けた後の文字がかわいそうではないか。我々は、化けた後の文字をもっと愛す

https://turingcomplete.fm/12 を聞いていて、モヤイ像について昔ちょっと調べたのを思い出したので掘り起こしてみる。 Unicodeに収録された絵文字のなかに「モヤイ像」というものがある。これ、モアイ像ではなくて “Japanese stone statue like Moai on Easter Island”、つまり「イースター島にあるモアイ像みたいな日本の石像」として定義されている。ちなみにモアイ像の絵文字というものはないのであった。マジで？　マジで。 モヤイ像というのは東京の渋谷駅のランドマークになっているアレであって（細かく言うと色々あるのだがそれについては後述）、イースター島のモアイ像とは似せたようなかんじであってもまあ違う。髪もあるし。上述リンクの図像もまさに渋谷のモヤイ像のような見た目になっている。どうしてこんなことになっているのだろうか？ いっぽう

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推

小ネタです。 すもももももももものうち 昨日、日本語形態素解析エンジンMeCabに関するエントリを書きました。 statsbeginner.hatenablog.com ところで、MeCabの公式サイト（リンク）にいくと、インストール完了後のテストとして「すもももももももものうち」の解析が行われています。"Hello world!"のノリで。 $ mecab すもももももももものうち すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ の 助詞,連体化,*,*,*,*,の,ノ,ノ うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ EOS これを受けて、MeCabの使い方を解説する

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Qiita などの技術系の記事を読んでて「あ，ココちょっと残念」と思うポイントを書いてみます。自らの反省も込めて。 日本語表現・表記 「値を返却する」という表現 関数やメソッドが値を return することを日本語で「返却する」と表現した記事がたくさんありますが，ものすごい違和感を覚えます。 「値を返す」と書くべきでしょう。 この件は以前書きましたので理由はそちらを見てください。 「値を返却する」って言うな 「可変する」という言葉 「可変する」というおかしな言葉もよく目にします。 「可変」というのは，読んで字のごとく「変わりうる」とか「

test models. [PATTERN1]: English only. 2015-10-19 08:08:39,112 [INFO] #data: 26 2015-10-19 08:08:39,186 [INFO] correct: v, answer: capsV => RIGHT 2015-10-19 08:08:39,186 [INFO] correct: g, answer: capsT => WRONG 2015-10-19 08:08:39,186 [INFO] correct: s, answer: capsE => WRONG 2015-10-19 08:08:39,187 [INFO] correct: o, answer: capsD => WRONG 2015-10-19 08:08:39,187 [INFO] correct: i, answer: capsZ

雑にですが，知ってるサイトやチュートリアルをまとめたくなったのでまとめてみました．夏ですし． 適宜更新しています． 最終更新 2018年02月03日 チュートリアル 言語処理100本ノック 言語処理100本ノック 2015 東工大の岡崎先生が作られたチュートリアルです． 他大学の研究室でも利用されています． 簡単な内容からはじまるので，プログラミングの導入としてもいいと思います． NLPプログラミングチュートリアル Graham Neubig's Teaching Carnegie Mellon UniversityのGraham Neubig先生のチュートリアルです． Githubにサンプルコードが公開されています． 各チュートリアルにはテストがついているので，実装が正しいかを確かめることができます． 扱っているトピックが広いので，かなり勉強になると思います． ソフト 形態素解析器 日本

バッチのまとめTOPへ Windowsで「kakasi（カカシ）」という形態素解析のツールを使う方法。 漢字をひらがなに変換したり， 漢字かな交じりの文章を，ローマ字読みに変換したり， 日本語の文章を，単語ごとに分解したり といった本格的なテキスト処理が，フリーソフトで簡単に実行できる。 例えば，こんなかんじ。 （例その１） echo 庭には二羽ニワトリがいる。 | kakasi -w ↓ ★文章を解析して単語に分解してくれる！ 庭 には 二羽 ニワトリ がいる 。 （例その２） echo 庭には二羽ニワトリがいる。 | kakasi -w | kakasi -Ja -Ha -Ka -Ea ↓ ★アルファベットの読みに変換してくれる！ niwa niha niwa niwatori gairu . （例その３） echo 漢検一級に出題される超難しい漢字の例として， 「邏卒」「衍義」などが

こんにちは、らこです。先日から話題になってるJavaScriptの形態素解析器kuromoji.jsを使って、確率自由文脈文法で構文解析してみました。(注意:アルゴリズムの解説記事 ではない です) 結論 kuromoji.js遊びまくれるのでみんな使おう kuromoji.d.ts書いた 私は型大好き人間なのでTypeScript使ってkuromoji.js使いました。型定義ファイルは自分が使う部分だけエイヤっと自作しました(laco0416/kuromoji.d.ts)。 あと、プロジェクトに↑の自作型定義ファイルを読み込むのにdtsm使いました。tsd使ってたのが馬鹿らしくなるくらい便利です。作者のvvakameさんによるわかりやすい紹介はこちら 確率自由文脈文法とは ちゃんと説明すると長くなりますしうまく説明できる自信もないので、ばっさりカットします。 雰囲気つかむにはここらへんを

はじめに：「なぜ漢数字は数字順に並ばない！？」 先日、こんなツイートをしたところ、結構たくさんの人にリツイートされました。（執筆時点で50件以上） 「漢数字はソートしても数字順に並ばない」という事実を生まれて初めて知った。まさかのサプライズ。 pic.twitter.com/Eqx3ltIfHs— Junichi Ito (伊藤淳一) (@jnchito) 2014年11月27日 「なぜ漢数字は数字順に並ばないのか」という問いに対して、表面的な回答をするなら「数字順に並ばないのは、数字の大きさではなく文字コード順でソートされているから」ということになります。 いや、もちろんそれはわかってるんです。 問題は「そもそもなんで数字順に文字コードを振らなかったの！？」ということです。 感覚的には「一郎、二郎、三郎」って並んでほしいじゃないですか。でも、プログラム上でソートすると「一郎、三郎、二郎」