難字に難儀 : にぽたん研究所

難字に難儀 : にぽたん研究所

某案件で、Shift_JIS の CSV ファイルから、DB に EUC-JP で突っ込む必要があったらしい。 んで、CSV を...概要を表示 某案件で、Shift_JIS の CSV ファイルから、DB に EUC-JP で突っ込む必要があったらしい。 んで、CSV を nkf -e して入れてたらしいんですが、どうも特定のレコードで妙にバケる。 よく見ると、どうやら人名とかで (←の例はあくまで極端な名前の例で、実際のデータとは関係ありません) こんな感じの、所謂「難字 (異字体)」 が使われていると、nkf とか Jcode とかの変換がちゃんとできず、なんか制御コードとかが混じるようだ。 K 氏「うーん、どうしたものか」 にぽたん「そしたらさ難字を全部簡単な字に変換してからさ、それを nkf で EUC-JP にすればいいんだよ」 K 氏「え、そんなの出来んの？」 にぽたん「多分、木村さん作の Lingua::JA::Regular ってそういうの出来るよ」 早速 Shift_JIS の CSV から読み込んで Lingu