Unicodeのエンコーディングの一種。BMP内の文字は16ビットで表現し、BMP外の文字はサロゲートペアにより32ビットで表現する。
HTTPのリクエストヘッダに設定した日本語が文字化けしてハマりました。 事象と原因をメモしておきます。 事象 この記事で紹介している通りに Apache/Tomcat を連携し、 Apache HTTP Server をリバースプロキシとしてTomcatと連携させる - 山崎屋の技術メモこの記事の方法で HTTP リクエストヘッダを追加しました。 Apache HTTP サーバで応答ヘッダ（レスポンスヘッダ）を追加する - 山崎屋の技術メモ Apache HTTP サーバで要求ヘッダ（リクエストヘッダ）を追加する - 山崎屋の技術メモ httpd.conf の抜粋です。文字コードはUTF-8で…
こんにちは、たびとです。 いまだに Shift-JIS で動作しているレガシーなシステムは、意外と多いと思います。 例えば Web システムだと、ブラウザは Unicode を受け付けるのに、 Web サーバ側のアプリが Shift-JIS だと色々と問題が発生します。
文字コードって、とっても難しいです。 そんな文字コードの中で、サロゲートペアについて、可能な限りわかりやすく解説します。 １．サロゲートペアとは UTF-16 は基本は 2 バイトで 1 文字ですが、2 バイトで表せる文字は 256 × 256 = 65,536 と世界中の文字を収録するには不足するため、苦肉の策として 4 バイトで 1 文字を表すこととしました。 ただ全部の文字を 4 バイトにしてしまうと、それまで UTF-16 を利用していたシステムに大きな影響が出てしまうため、基本は 2 バイト 1 文字のままで、65,536 で収まらない文字だけ 4 バイト 1 文字としました。 この…
文字コードって、とっても難しいです。 そんな文字コードの中で、文字符号化方式について、可能な限りわかりやすく解説します。 １．UTF-16 と UTF-32 ISO-2022-JP や EUC-JP 、Shift-JIS は、複数の文字集合を利用するための文字符号化方式です。 それに対して、UTF-16 や UTF-32、UTF-8 といった文字符号化方式は、使用している文字集合は Unicode のみです。 それなら Unicode を直接利用すれば良いのでは？と普通の人は思います。 そして実際に最初は Unicode を直接利用していました。Java や C# などは今は UTF-16 を…
機能概要 MySQL utf8mb4 utf-8は過去の歴史的経緯から1文字を表すための文字列長が1～3バイトの時代から1～4バイトになっている。(※1) MySQL5.7までの'utf8'はutf8mb3のエイリアスで、1～3バイトのutf-8しか保存できない。 4バイト以上を格納する場合はutf8mb4を文字コードに設定する必要がある。 なお、MySQL8.0では、デフォルトはuft8mb4である。 そのため、utf8と定義するとutf8mb4に紐づくが、utf8mb4と書く方が安全かと思う。※1 過去一律3バイトであったとか、5・6バイト問題はここでは割愛する。 詳しく知りたい人は、ユニ…
面白法人グループアドベントカレンダー2024の14日目の記事です。 フロントエンドエンジニアをしているけいとです。社内で文系エンジニアというあまり浸透しない二つ名を自称していますので、"文字"の話をざっくばらんにしてみようと思います。 "文字"コードのはなし エンジニアとして活動する上で文字といえばやはり文字コードですよね。 文字コードについて簡単に説明すると、文字をコンピュータ上で処理する際に識別するために文字それぞれの種類に対して番号を割り振った一覧表のことです。例えば、 "KAYAC" というテキストを打ち込んで友達に送信するのに、ASCIIと呼ばれる文字コードを利用するとします。その際…
はじめに こんにちは！株式会社iimonでフロントエンジニアをしているかとうです！ 本記事はiimonアドベントカレンダー13日目の記事となります！✨ サーバーから送信されたデータがShift_JISでエンコードされている場合、そのままだとJavaScriptで扱えないことがありました。 そこで、本記事では以下の内容についてお話しします！ エンコードについて レスポンスがShift_JISレスポンス形式の場合のデコード方法 JavaScriptエンコード/デコードメソッド はじめに エンコードを理解する エンコードとは 文字コード 文字コード規格 ASCII Unicode エンコーディング形…
今日は Range#reverse_each が返す Enumerator の size メソッドの修正や IO#readline の wide 文字の Encoding の時の不具合修正、メモリ不足時の不具合修正などがありました。 [a90d8c335a] Andrew Konchin 2024-12-09 18:32:35 UTC spec/mspec に upstream から最新版をマージしています。 [de5df203bc] Andrew Konchin 2024-12-09 18:32:39 UTC spec/ruby に upstream から rubyspec の最新版をマージ…
はじめに キミと一緒に歩いてきた♪ アイ NEED YOUよすぎる😭 nikkieです アイマスエキスポ準備1より技術ネタです。 目次 はじめに 目次 SphinxでビルドしたPDFに「⋯」が表示されない latex_engineの指定で回避 原因切り分け過程 終わりに SphinxでビルドしたPDFに「⋯」が表示されない なんの気なしに「⋯」をSphinxで使いました。 吾輩は猫である。 名前はまだ無い⋯⋯ いつものように sphinxdoc/sphinx-latexpdf イメージでPDFをビルドします % docker run --rm -v $PWD:/docs sphinxdoc/s…
OBS Studioに関する情報メモを書いてる記事 ※「OBS Studioに関する個人的メモ」を移転しました。(現在は閲覧不可) 記事投稿日 2021年10月6日、最終更新日 2024年12月07日 10時35分頃 文字数が凄く多いのでブラウザの検索機能をお使いください。 記事が見にくくて申し訳ありません。 (将来的に内容を細かく分けて記事にしたいと思っています。) ブラウザ検索ショートカット Windows : Ctrl + F macOS : Command + F この記事は下記環境を使用して作成しています。 ※Linux、特定のデバイスが無いと表示されないソースのことはメモしていませ…
①. IEでの現状 外字登録ですが、現状のシステムはIEですが、IMEで外字登録すれば、外字は登録できます、DBはSQLServerを使用しています UTF-8ではなくSJISです、外字登録していないPCで確認すると文字化けが発生するという認識ですがあってますか はい、その理解は概ね正しいです。ただし、詳細を整理すると以下のようになります。 Edgeの外字対応に関する現状の動作 クライアント側の挙動: Edge では、外字を入力すると、送信前に自動的に Unicode に変換されます。 URL エンコードが行われる前に、外字のコードポイントが Unicode (UTF-16) の形式として扱わ…
オープンハウス社長のお言葉 オープンハウス、会社は社長で全て決まる。このカルチャーを築いたの凄いわ pic.twitter.com/mDuFH8vl4y— くっつー＠店舗専門の不動産屋社長 (@kutsukake_tenpo) 2024年9月17日 バスケ選手の補足コメント 本気なら風邪ひかないよ。は精神論ではなく、本気なら毎日がどれだけ大事かわかるから、そもそも風邪を引かないように栄養、睡眠、休息などをとっていつでもベストパフォーマンスを発揮できるようにする意味だと思う。アスリートもそうだから。 https://t.co/1khIkimjp8— 佐藤マクファーレン優樹 (@yukisatom…
body { font-family: Arial, sans-serif; line-height: 1.6; margin: 20px; } h1, h2, h3 { color: #2c3e50; } code { background-color: #f4f4f4; padding: 2px 4px; border-radius: 4px; font-size: 1em; } pre { background-color: #f4f4f4; padding: 10px; border-radius: 4px; overflow-x: auto; } ul { margin-left: …
body { font-family: Arial, sans-serif; line-height: 1.8; margin: 20px; background-color: #f7f7f7; color: #333; } h1, h2, h3 { color: #2c3e50; } pre { background-color: #2d2d2d; color: #f8f8f2; padding: 10px; border-radius: 5px; overflow-x: auto; } code { font-family: "Courier New", monospace; } a { …
先日 jq について記事を書いたが、ここで手元でのビルドができていなかった。 blog.kosappi.net 今回はその jq のビルドにチャレンジする。 準備 libtool、automake が自分の mac には無かったので、インストールした。 brew install libtool brew install automake $ which automake /opt/homebrew/bin/automake $ which libtool /usr/bin/libtool jq を clone する。 git clone [email protected]:jqlang/jq.git…
イベントURL https://sansan.connpass.com/event/333961/ CysharpのOSS群から見るModern C#の現在地 speakerdeck.com Cygamesの子会社、Cysharp, Incからのスピーカー、リポジトリのスター数は30,000以上 リポジトリ： github.com 今回は上位のリポジトリを紹介するセッションでした。 順位は以下の通りです。 UniTask MagicOnion UniTaskの説明 不動の1位を獲得している。 github.com MagicOnionの説明 gRPCとほぼ同じタイミングでリリースしている。ゲー…
はじめに 今回はUnicodeに対して複数の符号化方式がある理由についてまとめていきます。 そも、Unicodeって？ 世界中の文字を統一して扱うための標準化された文字セットのことです。もっと噛み砕くと、文字に割り当てられた識別番号（コードポイント）のことです。 この割り当てられたコードポイントの大きさ（バイト）を決めるために文字符号化方式を使用します。 識別番号をそのままの大きさで扱えばいいやん？ ※普通の方はそうは思わないかもですw そうです。わざわざ符号化方式なんてしなくて識別番号の大きさ文字を扱ったらいいです。 →甘いです。 例えば「a」に対応するUnicodeのコードポイントは「U+…
文字列の文字数、バイト数を取得する方法を説明する。 文字数の取得 文字列の文字数を取得するには Len 関数を使う。 Len(string) string には文字列を指定する。 関数は文字列の文字数を返す。 例：半角でも全角でも同じ文字数が返される WScript.Echo Len("Hello World!") ' → 12 WScript.Echo Len("Ｈｅｌｌｏ Ｗｏｒｌｄ！") ' → 12 バイト数の取得（Unicode） 文字列のバイト数を取得するには LenB 関数を使う。 LenB(string) string には文字列を指定する。 関数は文字列のバイト数を返す。 た…
以前紹介した、外部サービスの投稿をNotion日報へ連携するカスタムAPIの続きです。 kokh.hateblo.jp ZappierでSlackに投稿されたポストをwebhookで受取り、カスタムAPIへのリクエストを通してNotion日報に追加するようにしています。 ここで、webhookで受け取るテキストはこのようになっています。 Airpods proが不調 :thinking_face: このままNotionに追加しても、 :thinking_face: はUnicode絵文字に変換されません。 そのため、カスタムAPI側で変換を行う処理を追加しました。 Slackのdocument…
私が下位サロゲートになるので、あなたは上位サロゲートになってください❕❕ 1048576通りの世界を辿りましょう❕❕❕ 㐂びを分かち合いましょう❕❕❕ 僕たちUTF-16、なんでも言えるの❣️
journal.mycom.co.jp
una.soragoto.net
constellation.hatenablog.com
atmarkit.itmedia.co.jp
mixiengineer.hatenablog.com
srad.jp
pentan.info
ja.wikipedia.org
srad.jp
