Hatena Blog Tags
はてなブログ トップ
UTF-8
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

UTF-8

(コンピュータ)
【ゆーてぃーえふえいと】

Unicode (or UCS) Transformation Format, 8-bit encoding form.
Unicodeでは Unicode Translation Format-8
ISO/IEC 10646では 8-bit UCS Transformation Format
Unicode、ISO/IEC 10646(UCS)のエンコーディング方法のひとつ。
ASCIIの範囲内にある文字は1バイトに、大抵の漢字や仮名は3バイトにエンコーディングする特徴がある。

RFC 2279で、UCS(Unicodeのコード値)からの変換方法が定義されている。

   UCS-4 range (hex.)           UTF-8 octet sequence (binary)
   0000 0000-0000 007F   0xxxxxxx
   0000 0080-0000 07FF   110xxxxx 10xxxxxx
   0000 0800-0000 FFFF   1110xxxx 10xxxxxx 10xxxxxx
   0001 0000-001F FFFF   11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

   c.f. Invalid sequence
   0020 0000-03FF FFFF   111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
   0400 0000-7FFF FFFF   1111110x 10xxxxxx ... 10xxxxxx

詳しくはRFC 3629を参照してください。

IETFにより、STD番号(STD63)が割り振られている。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Django Girls and Boys 備忘録•2ヶ月前

【メモ帳】メモ帳でファイルを開いた時に文字化けした場合の対応方法

メモ帳でテキストファイルを開くと一部の文字が表示されなかったり文字化けして表示されたりすることがあります。 これは、テキストファイルを作成するときに設定した文字コードとメモ帳で表示する際の文字コードの設定が一致していないために起こるものです。 以下の例では□表示の部分が日本語の文字化け部分です。 文字化けファイル その場合の対応方法は以下のようになります。 １．テキストファイルを開いた時に文字化けする場合の対応方法 対応方法としては、メモ帳の文字コードの設定を変更してからファイルを再度開き、テキストが正しく表示されるか確認するということになります。 メモ帳で上のメニューから「ファイル」を選択し…

#メモ帳#Notepad#文字化け#ファイルを開く#文字コード#エンコード#変更方法#UTF-8#Shift-JIS

関連ブログ

Django Girls and Boys 備忘録•2ヶ月前

【メモ帳】メモ帳でエンコードの変更方法

前回バッチファイルを起動したときに文字化けしていてうまく起動できなかった時にエンコードの変更という内容を記載しました。 そこまでは分かった時にそもそもメモ帳でエンコードの変更はどうすればいいのという話もありますのでその変更方法の紹介になります。 １．メモ帳でのエンコードの変更方法 メモ帳でエンコードを変更する場合は、 ファイル→名前を付けて保存 を開きます。 そうすると、以下のような見慣れた保存用画面が開くと思いますが、 その中のエンコードのプルダウンをクリックします。 ANSI、UTF-8、UTF-16、・・・とありますので変更したいエンコードを選択します。 ちなみに、Shift-JISに変…

#メモ帳#Notepad#エンコード#変更方法#encode#UTF-8#Shift-JIS#ANSI
Django Girls and Boys 備忘録•2ヶ月前

【Windows】バッチファイル(batファイル)を起動したときに文字化けして起動できなかった時の対処方法

最近バッチファイルを起動したときに文字化けしていてうまく起動できないことがありました。 中身を見たところなぜか文字化けしていてという内容でした。 １．今回の内容 なぜかというところは不明なのですが、以下のように日本語の部分が文字化けしていました。 バッチファイル文字化け結果 ２．対応方法 原因は、メモ帳で編集していた時にエンコードがUTF-8になっていたためでした。 エンコードをShift-JIS(ANSI)に変更したところ無事実行することができました。 メモ帳では「ANSI」が「Shift-JIS」に相当します。 以上が、バッチファイルを起動したときに文字化けして起動できなかった時の対処方法…

#バッチファイル#batファイル#bat#文字化け#対応方法#エンコード#UTF-8#Shift-JIS#ANSI
Django Girls and Boys 備忘録•1年前

【Unity Python】ML-Agentsで"There was an error decoding Config file from ./config/sample/RollerBall.yaml. Make sure your file is save using UTF-8"のエラーが表示された時の解決方法

さらにUnityでML-Agentsを使っての学習に向けて前回から続けて行っていたところ再度エラーに遭遇しました。 (adsbygoogle = window.adsbygoogle || []).push({}); １．エラー内容 続いて表示されたエラーは mlagents.trainers.exception.TrainerConfigError: There was an error decoding Config file from ./config/sample/RollerBall.yaml. Make sure your file is save using UTF-8 というも…

#Python#ML-Agents#decding error#UTF-8#エラー#解決方法
無職日記•1年前

無職になって874日目（「〜」の正式名称）

こんにちは、ユースケ・サンタマリオです。 何気なく使っている言葉で、正式名称を知らないものはいくつかあるものです。 例えば「〜」です。 「〜」は「なみなみ」や「なみなみ棒線」など人それぞれ言い方が異なるかと思います。 ですが、実は「〜」にも正式名称があるのです。 「〜」の正式名称を言う前に 「〜」と「～」は違う文字です。 一見似ているように見えますが、 Unicode(UTF-8) へ変換してみると 前者：U+E3809C 後者：U+EFBD9E と異なる文字だと言うことがわかります。 「〜」と「～」の正式名称 「〜」と「～」 前者の「〜」：呼び名は波ダッシュ。またの名を「波線」といい、ダッシ…

#日記#雑学#プログラミング#Unicode#UTF-8
山崎屋の技術メモ•2年前

HTTPリクエストヘッダに日本語を含めたら文字化けして困った。そして解決した話。

HTTPのリクエストヘッダに設定した日本語が文字化けしてハマりました。 事象と原因をメモしておきます。 事象 この記事で紹介している通りに Apache/Tomcat を連携し、 Apache HTTP Server をリバースプロキシとしてTomcatと連携させる - 山崎屋の技術メモこの記事の方法で HTTP リクエストヘッダを追加しました。 Apache HTTP サーバで応答ヘッダ（レスポンスヘッダ）を追加する - 山崎屋の技術メモ Apache HTTP サーバで要求ヘッダ（リクエストヘッダ）を追加する - 山崎屋の技術メモ httpd.conf の抜粋です。文字コードはUTF-8で…

#文字コード
nikkie-ftnextの日記•2年前

あ（U+3042）はどういう規則でb'\xe3\x81\x82'というバイト列に変換される？ UTF-8の変換アルゴリズムを知りました

はじめに うにおん！ならぬ、うにこーど！ nikkieです。 先日ChatGPTがどのように日本語テキストをトークン化するのか覗きました。 トークンのIDから対応するテキストを見ようとPythonのbytesを扱ったわけですが、その中で感じた疑問についてアウトプットです。 目次 はじめに 目次 あ（U+3042）をencodeするとb'\xe3\x81\x82' 続く文字を変換していくと規則性がある 脱線：こんなところでも見かけます jsonでUnicodeコードポイント urllib.parseでバイト列 変換規則：1110 xxxx 10xx xxxx 10xx xxxx 変換規則の適用例…

#Unicode#UTF-8#bytes#変換規則
素肌にサスペンダー•2年前

【Mac】Shift_JISのCSVを一括でUTF-8に変換する方法

手順 1.変換したいCSVファイルを任意のフォルダにまとめて入れる。 2.Terminalをいて、cd {1.の任意のフォルダ}で移動し、以下を実行する mkdir utf8 for file in *.csv; do iconv -f Shift-JIS -t UTF-8 "$file" > "utf8/${file%.csv}.csv" done 3.utf8フォルダが作成され、utf-8に変換されたcsvが保存されている。

#Shift_JIS#UTF-8#ターミナル
Satoの節約＆ソロ活雑記•2年前

【Excel】エクセルで開いたCSVファイルが文字化けした時の直し方

Netflixの視聴履歴を確認したところ、ドラマを含めて1年に400本も動画をクリックしていることに気づいたSatoです。本日は、Excelファイルが文字化けしたときの対処法です。 文字化けしたエクセルファイルの直し方 まとめ 記事紹介 雑記 文字化けしたエクセルファイルの直し方 下記の①、②のどちらか、または両方を行うことで直るはずです。 ［方法１］①ダウンロードしたCSVファイルをメモ帳で開き、上書き保存②Excelで開く ［方法２］①EXCELの「データ」タブの「テキストまたはCSVから」をクリック ②ダウンロードしたCSVファイルを選択、「インポート」をクリック③左上のテキストファイル…

#Excel#エクセル#CSV#文字化け#UTF-8
rokkonet•2年前

各行にテキストファイルパスが書かれたファイルを読み込み、各テキストファイルの文字コードをUTF-8に変換するシェルスクリプト

2023 Feb. 23. 各行にテキストファイルパスが書かれたファイルを読み込み、各テキストファイルの文字コードをUTF-8に変換し、指定ディレクトリに保存するシェルスクリプト convert2utf8withNonUtfFileList.sh LISTFILE DESTDIR LISTFILE is a textFile with filePath in each line. コード参照先 https://bitbucket.org/arsmus/shell-script-public/src/master/text-file/convert2utf8withNonUtfFileList.…

#文字コード#UTF-8#テキストファイル#シェルスクリプト
ENGINEERING BLOG ドコモ開発者ブログ•1日前

タッチ操作できないディスプレイをタッチ操作できるようにした

1. はじめに 2. つくったものについて 3. 実装 3.1. システム概要 3.2. ディスプレイの準備 3.3. クライアント（Android）側の実装 3.4. ホスト（Windows）側の実装 3.4.1. 座標変換 3.4.2. マウス操作 4. デモ 5. おわりに 1. はじめに 本記事はNTTドコモR&D Advent Calendar 2024 の14日目の記事です。 はじめまして。NTTドコモ クロステック開発部、入社２年目の中村匠です。 普段の業務では画像認識AIを使って「自動運転遠隔管制」「生物多様性の定量評価」などに取り組んでいます。 今回の記事の内容は上記業務とは…

KAYAC Engineers' Blog•1日前

さあ、"文字"のはなしをしよう。

面白法人グループアドベントカレンダー2024の14日目の記事です。 フロントエンドエンジニアをしているけいとです。社内で文系エンジニアというあまり浸透しない二つ名を自称していますので、"文字"の話をざっくばらんにしてみようと思います。 "文字"コードのはなし エンジニアとして活動する上で文字といえばやはり文字コードですよね。 文字コードについて簡単に説明すると、文字をコンピュータ上で処理する際に識別するために文字それぞれの種類に対して番号を割り振った一覧表のことです。例えば、 "KAYAC" というテキストを打ち込んで友達に送信するのに、ASCIIと呼ばれる文字コードを利用するとします。その際…

STORES Product Blog•2日前

Aurora V3(MySQL8.0)への移行を振り返る

こんにちは。STORES 予約 で開発エンジニアをしているmyahagiです。 11月の頭にSTORES 予約 のDBをAurora V2(MySQL5.7互換)からAurora V3(MySQL8.0互換)へ移行しました。 Aurora V2(MySQL5.7互換)の標準サポートが10月末で終了しましたが、サポート終了後、2年間は延長サポート費用を支払うことでバージョンアップせずとも利用が可能といったこともあり、これからアップデートを計画するところもあるかと思います。 今回、私たちがアップデートにあたって事前にどのような検証をし、どういった移行手順で移行を行ったのか、また、移行後に限定的な範…

JBS Tech Blog•2日前

Semantic Kernel Agent Frameworkでマルチエージェントを構築する(1/2)：プラグインの実装と関数処理内容の確認

Senamtic Kernelを使ったマルチエージェントの開発を行いました。構築方法に関して2回に分けて記載します。1. プラグインの実装と関数処理内容の確認 2. マルチエージェントの構築本記事では、マルチエージェント構築の準備として、Sematic Kernelのpluginを使い特定の処理に特化した機能を追加する方法を紹介します。 Semantic Kernel Kernelの概要 Kernelに追加可能な2つのコンポネント Pluginの追加 プラグイン追加の流れ 前提条件 Azureリソース ディレクトリ構成 プラグインの実装 プラグインを定義 プラグインをカーネルに追加する 関数呼…

WEBサイト制作の勉強•2日前

12月13日の作業データ

index.html <!DOCTYPE html> <html lang="ja"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>スマホ特化型サイトの作成</title> <link rel="preconnect" href="https://fonts.googleapis.com"> <link rel="preconnect" href="https://fonts.gstatic.com" crossorigin…

エムティーアイ エンジニアリングブログ•2日前

Docker上の仮想環境でブラウザを動かしてみた

はじめに こんにちは、テクノロジー本部の田中です。 アドベントカレンダー13日目です。 今回は、以前に個人的興味があってやってみた話「Docker上の仮想環境でブラウザを動かしてみた」を書きたいと思います。 よくあるパターン : NoVNC を利用したブラウザから動かす仮想環境 この手の話題でよくあるのが、ブラウザから動かす仮想環境の話です。 VNC は Virtual Network Computing というリモートデスクトップのソフトウェアで、NoVNCは、それの OSS です。 これを用いて、Docker上で仮想環境を動かしてブラウザを起動します。 どうやるか 以下が NoVNC を動…

エムスリーテックブログ•2日前

gitレポジトリ考古学に使う道具

こちらはエムスリーAdvent Calendar 2024 13日目の記事です。 こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 今回は、長年運用されてきたレポジトリをgitを使って発掘する上で使っている道具を紹介します。 福岡タワー（ふくおかタワー）は、福岡県福岡市早良区のシーサイドももち地区にあるランドマークタワー（電波塔）。本文には関係ありません。 帳票環境 レポジトリからDBテーブルの使用箇所を探す スケジュール設定だけ消される gitレポジトリ考古学 ファイルが消えたコミットを知りたい ある記述が消えた(追加された)コミットを知りたい あるテーブ…

iimon TECH BLOG•2日前

レスポンスが文字化けしたのでエンコードについて調べた

はじめに こんにちは！株式会社iimonでフロントエンジニアをしているかとうです！ 本記事はiimonアドベントカレンダー13日目の記事となります！✨ サーバーから送信されたデータがShift_JISでエンコードされている場合、そのままだとJavaScriptで扱えないことがありました。 そこで、本記事では以下の内容についてお話しします！ エンコードについて レスポンスがShift_JISレスポンス形式の場合のデコード方法 JavaScriptエンコード/デコードメソッド はじめに エンコードを理解する エンコードとは 文字コード 文字コード規格 ASCII Unicode エンコーディング形…

KEITA LOG•2日前

DockerでRails・PostgreSQL・Reactの環境構築を行う手順まとめ

Docker を使って Rails・PostgreSQL と React の環境構築を行う方法についてまとめました。 この記事は以下の構成になっています。 環境とバージョン ディレクトリ構成 一から環境構築を行う手順 ディレクトリを作成する docker-compose.yml を作成する Rails のコンテナを作成する 必要なファイルを作成する Dockerfile を作成する Gemfile・Gemfile.lock を作成する entrypoint.sh を作成する Rails アプリを API モードで作成する bundle install を実行する database.yml を編…

NTT Communications Engineers' Blog•2日前

フロントエンドのインフラ構成を見直したら運用コストを99%削減できた話

この記事は、 NTT Communications Advent Calendar 2024 13 日目の記事です。 フロントエンドのインフラ構成を見直すことで運用コストを 99%削減できた事例についてご紹介します。 目次 目次 はじめに 見直しの背景 これまでの環境 課題 実現方法 工夫した点 動的コンテンツを表示させる Cloud Armor でウェブベースの攻撃から保護する Basic 認証をやめる 変更後の効果 料金面 運用面 おわりに はじめに こんにちは、NeWork 開発チームの栄です。 普段はオンラインワークスペースサービス NeWork の開発エンジニアをしています。 この記…

毛だらけだし灰だらけだし•2日前

WinUI3で前面＆フルスクリーンアプリを作ってみる。

趣旨 常に前面＆全画面表示をさせるキオスク的アプリを作りたくて、とりあえず勉強しながら試作品を作ってみた。ウインドウアプリなんてMFCしか使ったことないしC#なんて知らないし。。。という状態から始めたので、全体的にセンス無いかも。 今回は以下機能を持ったアプリをWinUI3で作ってみた。 ボタン押すと表示モード切り替わる フルスク時はどのウインドウがアクティブだろうとこのアプリが前面に出てくる フルスク時はタイトルバーを出さない フルスク時はタスクバーまで隠す WebView2を使ってプライマリモニターにのみ本ブログを表示させる デバック実行中、前面時に例外とか発生して止まっちゃたときは何も見…

@tmtmsの日記•2日前

2024/12/13

そういえば週末は長野帰省に合わせて Nagano.rb の忘年会に参加します〜LTのネタも明日の移動中に考えたい…… #naganorb https://t.co/EcsBw4ECsa— 桐生あんず (@anzu_mmm) 2024年12月12日 Ruby 3.4.0 rc1 Releasedhttps://t.co/WhjSSOOr93— 成瀬 (@nalsh) 2024年12月12日 私は数年前に、中山美穂さんに曲を書きました。日記を見ると2020年9月24日に中山さんに個人的に頼まれました。その後、同年の10/2に曲を作り始め、その後完成します。「あなたの流星群」という曲でした。私のアレ…

技術系のメモ•2日前

JavascriptのIIFE(即時実行関数式)とは

IIFE(即時実行関数式)とは ■定義 IIFEとは「Immediately Invoked Function Expression」の略であり、日本語で「即時実行関数式」と訳されます。その名の通り、定義されたタイミングですぐに実行されるJavascript関数のことを指します。 通常関数は、定義された後に別途呼び出される必要がありますがIIFE(即時実行関数式)は宣言されたタイミングで自動的に実行されるという特徴があります。 ■基本的な構文 基本的に以下のような構文で定義されます。 (function() { // 実行したいコードを記述 })(); ■背景 2010年11月15日にBen …

knaka2411のブログ•3日前

ELK Stackの利用2：ログ自動取得

前回までの記事： ELK Stackの利用1：はじめに pythonスクリプトを使ったElasticsearch（ES）からのログ取得について述べる。もともと、簡易エラー解析シェルスクリプトを作成していた。引数に日時を指定して実行すると、その日時の数分前からの全ログを取得し、それらの内容を吟味して、エラーを引き起すきっかけとなったものを探しあてるというものである。シェルスクリプトといえど2000行近いコード（コメント部分を除くと1500行）で、二人で手分けして作った。これの欠点として、新たなエラーに対応させるのが容易でないということがあり、より扱いやすいものにするべくpython化をはかること…