Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.

本記事は 【Advent Calendar 2023】 17日目の記事です。 🎄 16日目 ▶▶ 本記事 ▶▶ 18日目 🎅 こんにちは。 2年目の草野です。年末が近づいてきましたね。 今回はAdvent Calendarの執筆に参加ということで、2023年の業務の中で印象深かったUnicodeについて少しお話したいと思います。 そもそもUnicodeとは サロゲートペア文字 突然ですが…… 異体字セレクタとの出会い 異体字セレクタって？ 全く同じ意味を持つ文字、異体字 異体字セレクタの誕生 具体例 結局私の名字はどう書くの？ おわりに そもそもUnicodeとは みなさんご存じの通り、Unicodeは文字を表すための国際的な標準規格の1つです。 一般的には [U+91CE] のように、16進数で表記されます。 常用文字は [U+0000] ～ [U+FFFF] の16進数4文字＝2バ

今年は4年に1度のうるう年。うるう年とは、太陽暦の1年（365・2422日）とグレゴリオ暦（365日）の日付を調整する役割で1年間を366日とする年のことだが、そもそも“うるう”ってなんだろう? 【写真】目元はいつもバッキバキ、飯島直子が55歳にして披露したスッピン 「うるうは漢字で“閏”と書きます。もともとは“余る”という意味で“潤（ウルヒ）”の読みから、閏に変化したものといわれています。余った日=閏日を付け足した年が、うるう年と呼ばれるようになったのでしょう。付け足す、という意味から、うるう年には妊娠しやすいという俗信もありますよ」 こう教えてくれたのは、中国文献学者で大東文化大学文学部教授の山口謠司先生だ。“閏”の漢字には他の意味もあるという。 うるう日に生まれた有名人「文字のとおりに“王が門にいること”です。古代中国では王は通常、廟と呼ばれる場所にいますが、うるうの月には、門で政治

【推しの子】 赤坂アカ×横槍メンゴ <毎週木曜更新>毎週水曜日TOKYO MX他にてTVアニメ放送中！　『かぐや様は告らせたい』の赤坂アカが横槍メンゴとの豪華タッグで描く舞台は芸能界!!［週刊ヤングジャンプでも連載中］