UTF-8の文字列の文字数を数える - Qiita
UTF-8をコードポイントに分解する まずはじめに、コマンドライン引数で入力された文字列を、コードポイントごとに表示するプログラムを作成します。 UTF-8からコードポイントを求める方法は、Wikipedia で説明されているとおりです。 注意: 以下の説明は、Windowsでは動作しません。Linux, FreeBSD, MacOSX (またはCygwin)で試してください。 #include <stdio.h> /** * next_codepoint(&ptr); * ptrを、次のコードポイントの位置に動かす */ static int next_codepoint(const char **pp) { const char *p = *pp; int c = -1; if (*p == 0) { } else if ((*p & 0x80) == 0) { c = *p++ &
UTF8の文字数を数える - shnya’s blog
つい最近、UTF8文字列を扱う処理を書いたのでその実装方法についてのお話です。 今日の問題設定は、天下一プログラマーコンテストの例題でも有名になりましたが、UTF8の文字数カウントです。 UTF8の文字列形式について詳しくはWikipediaを見て頂ければいいかと思いますが、 http://ja.wikipedia.org/wiki/UTF-8 簡単に紹介すると、UTF8は一文字1-6バイト(最近は1-4バイトのみ)からなるエンコード形式であり、各文字が何バイトから構成されているかはその文字の1バイト目を見ればわかります。 例えば1バイト文字の場合は7bitのASCII文字から構成されていて、1バイト目の上位ビットが「0」となります。 2バイトの場合は「110」, 3バイトの場合は「1110」という風に以降、上位ビットの1の数と1文字あたりのバイト数が等しくなります。 また先頭バイト以外は
サロゲートペアとは？文字コードの変換に迫る - Qiita
1. はじめに 文字コードが異なる環境間でのデータ転送時に、サロゲートペアと呼ばれる文字の変換が必要となる場合があることを知りました。そこで、サロゲートペアについて調べた内容をまとめます。 2. サロゲートペアが誕生した経緯 普通、Unicodeでは1文字につき2バイトのデータを使います。この2バイトには65536通り（0x0000～0xFFFF）のビットが表現できます。Unicodeの本来のアイディアは、この約6万字で世界中の文字を表現しようというものでした。 また、日本語の場合、全角でも半角でも1文字あたり2バイトのデータを使います（例えば、"a"も"あ"も2バイト）。そのため、「文字数 × 2 ＝ 使用バイト数」という関係がいつも成り立ち、使用バイト数を2で割れば文字数を簡単に導き出せました。これは文字列を1文字ずつ処理する場合など、便利な側面がありました。 しかし、最近ではUnic
UTF-8の文字コード表 - 備忘帳 - オレンジ工房
UTF-8の文字コード表なのです。いつも検索して、よそ様のページを参照させていただいていたのですが、面倒なので自分で作りました。 perlのスクリプトでガーッと出したので、見栄えはアレですが、とりあえず。 1バイト文字 2バイト文字 3バイト文字 E2 9C 80 ～ Dingbats、昔からある記号、絵文字とか E3 80 80 ～ 全角ひらがな・カタカナ EF BC 80 ～ 全角英数字、半角カナ 4バイト文字 F0 9F 8C 80 ～ たぶん今どきの皆さんの言う絵文字 F0 9F 98 80 ～ 顔文字 更新履歴 (2018-05-10 追記) コード表を全体的に再出力しました。変更点は以下の通りです。 unicode追加面、4バイト文字の表もつくりました。 各文字ブロックにタイトルを付けました。英語タイトルはUnicode仕様書PDFへ直リンクしています。 表示されてないけど、ど
VARCHAR(X)やINT(X)の「X」は何を表しているのか - Qiita
はじめに 新人研修にてLaravelを使っている時のお話です。 テーブル設計を行う時にデータ型とサイズを決めなければなりませんでした。 その時に、例えば、INTの(X)のXは何を表しているのか正確に理解していなかったので、この機会に使用頻度の高いCHAR型やVARCHAR型などの文字列を格納するデータ型も含め、調べたいと思いました。 この記事を読み終えたあなたが適切にデータ型やサイズを決めることができることをこの記事の目標にしたいと思います。 ちなみにQiita初投稿です(なんか緊張する...)。 検証環境 macOS Catalina ver 10.15.7 Docker ver 20.10.5 docker-compose ver 1.29.0 Laravel ver 7.30.4 MySQL ver 8.20.3 内容 「ユニコード(Unicode)とは」 その前に、まず「文字コード
ZIP中のファイル名の文字化け - @tmtms のメモ
こんな記事がありました。 gihyo.jp これはMacユーザー用の書籍の宣伝記事らしいのですが、「Windowsを使ってる人のためにMac側がひと手間かけてあげよう」なんて殊勝なことをマカーが言うとは時代も変わったもんです。（[追記] はてブのコメントを見たらさすがマカーという意見が並んでて安心しました） まあ私はWindowsユーザーでもMacユーザーでもないのでどうでもいいのですが、文字化けなネタなので食いついてみます。 記事中に、「付物出稿.zip」というファイルを開いた時の画像が載ってます。 文字の並びからして、UTF-8文字列をシフトJIS(CP932)とみなして表示してしまった文字列でしょう（「繧ｫ繝上ｙ繝ｼ繝輔か繝ｫ繧ｿ繧･」の元の文字は「カバーフォルダ」で、「蟶ｯ繝輔か繝ｫ繧ｿ繧･」は「帯フォルダ」）。 つまり、Macはファイル名をUTF-8でZIPに書き込み、Wi
zip ファイル解凍時の文字化けに関する情報 - Cube Lilac
CubeICE の利用動機の一つとして Mac などで作成された zip ファイルを解凍する際に文字化けしない と言うものが挙げられます。この記事では、なぜ文字化けが発生するのかと言う基本的な情報から、Windows における主要な解凍ソフトの対応状況までを簡単に紹介していきます。 必ずしも UTF-8 の zip ファイル解凍時に文字化けする訳ではない Mac で作成された zip ファイルを Windows で解凍すると文字化けする原因は、Mac （Windows 以外） で採用されている文字コードが UTF-8 なので、日本語用 Windows で採用されている Shift_JIS (CP932) と異なるからと言われます。ただ、Windows 標準の解凍機能を用いた場合でも、必ずしも UTF-8 の zip ファイルで文字化けする訳ではありません。例えば、CubeICE には UT
C++標準化委員会、ついに文字とは何かを理解する: char8_t - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? C++ Advent Calendar 2018 この記事はC++ Advent Calendar 2018 15日目の記事です。 14日目: VTKライブラリ 16日目: C++のエラー処理との付き合い方 当初見積もりよりも大幅に長い記事となり、投稿したのは12/22で1週間遅刻です。すみません。 お知らせ cpprefjpにchar8_t型追加について解説を書きました。ぎゅぎゅっとコンパクトに、また査読を受けて中立的な表現で書いていますので、よければどうぞ。 UTF-8エンコーディングされた文字の型としてchar8_tを追加 - c
UTF-8のテーブル(MySQL5.6)に竈門禰󠄀豆子が格納できない問題を調べてみた - Qiita
竈門禰󠄀豆子をMySQL5.6のテーブルにinsertしようとすると正しく格納できず、竈門禰となってしまうケースがあるという話を聞き、調べてみました。 実践 まずは試しにやってみます。 mysql> show create table verification\G *************************** 1. row *************************** Table: verification Create Table: CREATE TABLE `verification` ( `name` varchar(100) COLLATE utf8_bin DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin 1 row in set (0.01 sec) mysql> inse
nginxで静的jsonファイル配信時に日本語が文字化けしないようにする
androidアプリ開発時に、volleyを使ってjson形式のapiを取得する処理を書いていたのですが、jsonに日本語が入っていると文字化けする現象に遭遇しました。 調べてみるとapiのレスポンスヘッダーにContent-Typeが正しく指定されていない模様。 自前で用意したapiだったのでnginxの設定を変えて、正しくContent-Typeを指定するように修正したところ、文字化けが直りました。 /etc/nginx/mime.types にjsonを追加# sudo vi /etc/nginx/mime.types types { text/html html htm shtml; # ・・・・ application/json json; }jsonの文字コードがutf-8になるように指定server { listen 80; # ・・・・ include /etc/nginx
Content-type:text/htmlのcharset指定はUTF-8,utf-8,utf8どれが正しいの？調べてみた。 · DQNEO日記
Home Subscribe UTF-8? utf-8? UTF8? utf8? 気になったので調べてみました。 結論 公式名称は "UTF-8" である。 UTF-8, a transformation format of ISO 10646 大文字小文字は区別されない。 UTF-8でもutf-8でもどちらでもいいようです。 " HTTP character sets are identified by case-insensitive tokens. " Hypertext Transfer Protocol -- HTTP/1.1 したがって、 Shift_JIS/shift_jis EUC-JP/euc-jp どちらでもＯＫということになります。 気になるあのサイトでは？ 世の中的にはこうなっていました。(2011/8/17現在)
本当は怖くないCP932 - Qiita
先に結論 CP932 は、Shift_JIS の独自実装 符号化文字集合がいろいろ拡張されている 拡張文字の有無で、Shift_JIS と判別可能 CP932ってなあに? 実はいろいろある Microsoftコードページ932 IBMコードページ932 PC-9800仕様OEMコードページ932 Windows-31J(MS932) Microsoftコードページ932 Microsoftが、MS-DOS 用に作った Shift_JIS の実装 IBMコードページ932PC-9800仕様OEMコードページ932 IBM、NECが作った、Microsoftコードページ932 の拡張 Windows-31J(MS932) Microsoftが互換性確保の為に、IBM、NECの拡張を吸収した、Windows 用の CP932 CP932 といったらほぼほぼこれを指す MS932 は、Java で
Linux/UNIXでファイルの文字コード(UTF-8 or Shift_JIS or EUC-JP…)を確認する | 俺的備忘録 〜なんかいろいろ〜
Linux/UNIXで、指定したファイルの文字コード(UTF-8とか、EUC-JPとか)を調べる場合は、以下のような方法がある。 1.fileコマンドで調べる UTF-8か、EUC-JPなのか、それともShift_JISなのか… 日本語のファイルだとはわかっていて、その違いを調べるだけであれば、fileコマンドで事足りる。 以下のように、「-i」オプションを付与してfileコマンドを実行することで、文字コードを調べることができる(Shift_JISのみ、「unknown-8bit」として出力される)。 file -i ファイルPATH blacknon@BS-PUB-UBUNTU-01:~$ file -i /tmp/ascii.txt /tmp/ascii.txt: text/plain; charset=us-ascii blacknon@BS-PUB-UBUNTU-01:~$ fil
ASCIIとISO-8859文字コードに特化したテキストエディタ「GNU Moe 1.9」が公開 | OSDN Magazine
GNU Project下で開発が進められているコンソール向けテキストエディタ「Moe Editor」プロジェクトは6月28日、最新版となる「GNU Moe 1.9」を公開した。 Moeは「My Own Editor（MOE）」の略で、ISO-8859およびASCII文字コードという「8ビット文字コード」向けのコンソールテキストエディタ。モードレス、使いやすいユーザーインターフェイス、オンラインヘルプ、複数のウィンドウ表示、無制限のundo/redoや無制限のファイルサイズ/バッファ、グローバル検索/置換、自動インデントといった機能を備える。 UTF-8と比較して8ビット文字コードの方が日常のコンピューティングやコミュニケーション作業には適しているという見解から、UTF-8ではなくISO-8859-15をサポートするとしている。8ビット文字セットは、安全性と効率性に優れるとも記している。 G
mysqlで文字コードをutf8にセットする - Qiita
mysqlの文字コードはチェックする場所が多いので原因を突き止めるのに毎回苦労します。 大きく二種類に分けられて、 クライアント側、サーバー側（mysqlサーバー）、及びそれらの接続の文字コード データベース/テーブル/カラムの文字コード です。 ##デフォルトをきちんと設定しておく そもそも作成したDBの文字コードが意図しない設定になっていたら、デフォルトの設定が間違っている可能性が高いので、再度同じ問題を起こさないためにも、設定見直し→DBをdrop→DBをcreateという順番で直しに行きます。 1も2もデフォルトの設定は下記を実行すればok。 +--------------------------+----------------------------+ | Variable_name | Value | +--------------------------+---------
mb_convert_encodingのautoが危険な理由 - Qiita
mb_convert_encoding ( string $str , string $to_encoding [, mixed $from_encoding ] ) は文字エンコーディングを変換する関数です。 mb_convert_encodingに潜む問題 第3引数の $from_encoding には変換前の文字エンコーディング名を指定しますが、ここを"auto"と指定しておくと、環境によっては Warning: mb_convert_encoding(): Unable to detect character encoding のようなエラーが発生し、文字エンコーディングの変換が失敗する場合があります。 ですので、"auto" は極力使わず、文字エンコーディングを指定することをおすすめします。 autoとphp.iniの依存関係 なぜこのようなエラーが発生するかというと、autoは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
28800 – non-ascii character cannot display correctly in tui-mode's extended-prompt
Printing utf8 symbols in gdbtui
Loading...
https://mayer.jp.net/?p=4396
{{#tags}}- {{label}}
{{/tags}}