GPT-4oとo1($30/月)とo1 pro($200/月)で翻訳を比較しました。 翻訳の元にしたのは以下のツイートです。 The (true) story of development and inspiration behind the "attention" operator, the one in "Attention is All you Need" that introduced the Transformer. From personal email correspondence with the author @DBahdanau ~2 years ago, published here and now (with permission) following… pic.twitter.com/hKD7gDcexS — Andrej Karpathy (@karpathy)

母校での講演が終わったあと、俺はしばらく放心状態だった。 いや、我ながら頭おかしいとしか言いようがないが、これ以外に母校で話したいことは特になかった。特に、俺の母校、新潟大学教育学部附属長岡中学校は、教員から校長から全員新潟大学の人なので、新潟大学こそが至高の学校であり、新潟大学を愛する愛大学教育みたいなのを受ける。だから俺だって「新潟大学ってまあまあイケてる大学なのかな」と思って育ったのだが、俺より成績がいい奴らがどんどこ新潟大学にブラックホールのように吸い込まれていって、その後どうなったかわからなくなってしまう。というか、全く中央で活躍しない。 俺が、せいいっぱいの覚悟で、故郷の後輩たちガキどもに言えることが、俺の考える、俺の同級生がもっと輝けたはずの事実を指摘することだった。それが (附属長岡の生徒は)新潟大学に行ってはいけない。 (附属長岡の生徒は)教育学部に行ってはいけない。 と

我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必

これはなかなかいいんでないの?NVIDIAチップの5倍高速で価格1/10の中国AIチップ搭載コンピュータ Maker Faire Tokyo 2024に行ってきた。 深圳在住の高須さんが僕を見るなり「これ見てこれ」と連れていかれ、新製品のRDK X3を紹介された。 RDK X3とは何かというと、要は最新のAIチップを搭載したシングルボードマイコン、つまりRaspberry Piのようなものである。 このチップの中核にあるSunrise3(通称X3)チップは4つのCortex-A53ARMの高性能コアと、二つデュアル構成のBernoulliベルヌーイBPUだという。 このベルヌーイというNPUは初耳だが、とにかく速くてすごいらしい。5TOPS、つまり一秒間に5兆回の計算ができるらしい。ただ、「何の計算」を「5兆回」なのかがイマイチ明確になっておらず、ちょっとモヤモヤする。 ちなみに最近Mic

Speech-to-speechは、NVIDIAのGPU搭載マシンがあればローカルで音声認識、応答生成、音声合成ができる画期的なオープンソースツールだった。 しかし一つだけ不満があったのは、これが日本語には対応していないということだ。 ワイはコスモポリタンである。 ・・・そう名乗ってしまったから、「そういえばコスモポリタンってなんだろう」と思ってClaude-3に聞いてみた。 コスモポリタンは以下のような意味や用法があります: 1.飲み物としてのコスモポリタン: ウォッカ、クランベリージュース、ライムジュース、トリプルセックを使ったカクテル 1980年代後半に人気が出て、特に映画やテレビドラマの影響で広く知られるようになりました 2.思想・概念としてのコスモポリタン: 世界市民主義、国際主義を表す言葉 国境や文化の違いを超えて、世界中の人々と交流し、理解し合うという考え方 狭い地域や国家の

なんか吾輩の昔のブログを読みたいという酔狂な奴がいて、何でも最近会社を立ち上げたらしくて売上が1億を超えたところらしい。 他ならぬ友が会社を立ち上げて苦労している時に、吾輩の昔のブログのタイトルだけ覚えていて、それが見たいのだという。 吾輩は主にAI学習用に自分のブログのアーカイブを持っている。 持っているのだがHTML形式のため非常に読みにくい。 そこでHTMLタグ除去コードを書こうと思ったのだが、今からそんなもの書くのは芸がないので、まず音声入力を受け取って、それを音声認識した結果をClaude-3に投げてプログラムとして出力するプログラムを書いてみた。 これのミソは、喋るだけでコードが出来上がることである。 実際に使うとこうなる。 python autocode.py Recording... Recording finished. Special tokens have been

「AI PC」と強調されども中身は空っぽのComputex 2024 2024.06.09 Updated by Ryo Shimizu on June 9, 2024, 15:18 pm JST 過日、台北にて開催されたComputex Taipei 2024に行ってきた。 貧乏性の我輩としては、原稿料の出る媒体(本欄)にComputexレポートを書いて少しでも旅費を回収したい。 国内のコンピュータ系のジャーナリストは、どこを向いてもメーカーからお金や旅費を出してもらってメーカーの思う通りの記事を書く人だらけになってしまった。 そうじゃない人もいるのかもしれないけど、これは昨今の媒体の原稿料が信じられないくらい安くなっていることを考えると仕方のないことではないかと思う。 筆者は収入のうちで原稿料が占める割合は5%くらいだが、それでも「原稿料が高い方」と言われている(自分で原稿料を決めたこ

UPDATE　iPhone 3Gの発売を目前に控え、ニューヨーク五番街のApple Storeにはすでに行列ができているらしい。では日本はどうだろうか？　7月8日正午近くに、ソフトバンクショップの旗艦店がある表参道に行ってみた。 ハードウェアのスペックや料金に関する情報は出揃ってきたものの、依然として販売店や販売方法の詳細は明らかにされていない。そのような中で、さすがにまだ並ぶ人はいないかと思われたが、店の向かい側にたたずむ数人を発見した。なんとユビキタスエンターテインメント 代表取締役兼CEOの清水亮氏と、同社社員だった。 「これから4日間、入れ替わりで並びます」。清水氏はニューヨークのApple Storeに行列ができていることを知り、ソフトバンクショップに駆けつけたという。手に持っているのはiPhone 3Gではなく、iPod Touchだ。同社が開発したiPhone/iPod To

僕は2003年に最初の会社を作って、以来20年で10社の設立に関わった。 しかし、今年は5社設立して、その全てで社長をやっていない。 なぜかというと、社長を僕がやるのはものすごく非効率的だからだ。 僕は著者で、YouTuberで、研究家で、配達員である。 それぞれが深く連関していて、不可分であり、社長などやっている暇はない。 社長という仕事がクソなのは「教養としてのAI講座」などで散々言及しているためここでは説明は避けるが、こんなクソな仕事は人間にやらせるべきではない。非人道的だからだ。 そこでAIが社長の会社を作ることにした。 社長はAIであるため、どんなにクソなことがおきても、社長の責任ではない。 ただし、現行法では社長は犬でもネズミでもなれるが、代取にはなれないため、便宜上、代表取締役社長秘書を設置することにした。 しかしあくまでも社長は「継之助つぐのすけ」ことAIスーパーコンピュー

逮捕されたのは別人です。 逮捕されてたら書けないでしょ。今 ソフトバンク元部長らを詐欺容疑で逮捕　架空事業で12億円詐取疑い：朝日新聞デジタル ソフトバンクの事業への投資だとうそを言って12億円をだまし取ったとして、警視庁は8日、同社元統括部長の清水亮（47）=東 www.asahi.com 以下の本も書いてません 徹底解説RPAツール WinActor導入・応用完全ガイド amzn.to 3,960円 (2023年11月08日 22:08時点 詳しくはこちら) Amazon.co.jpで購入する

今日のウィークリーAIニュースではnpaka大先生と一週間のニュースを振り返った。今週もいろいろあったが、なんといってもダークフォース、GPT-4越えと言われるXwin-LMである。中国製。 大先生もまだ試してないというので番組内で一緒に試してみた。 もちろんドスパラ製Memeplexマシン(A6000x2)を使用。 >>> from transformers import AutoTokenizer, AutoModelForCausalLM >>> model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1") Downloading (…)lve/main/config.json: 100%|██████████████████| 626/626 [00:00<00:00, 56.2kB/s] [2023

凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot

日本を画像生成AIで再現する　「自分の見た景色」を学習したAIは強力な思い出再生装置に：清水亮の「世界を変えるAI」（1/3 ページ） 2022年の夏に登場した画像生成AI「StableDiffusion」はたくさんのバリエーションを生んだ。しかしその多くは、ネット上にある画像を学習させたものばかりだ。 特に開発が活発なのはイラストを学習させたものだが、最近になって、著作権に配慮した学習モデルの「Mitua-Diffusion」など、変わったものも登場してきた。また、AIを活用したアート作品を表彰する「第一回AIアートグランプリ」も1月15日から募集を開始した。 筆者自身も個人プロジェクトとして、StableDiffusionを誰でも無料で使えるWebサービス「Memeplex」を提供したり、前回のこの連載で紹介したように、AI漫画などを書いたりしている。 しかしAIで漫画を書こうとすると

コンピュータは非常に便利なのだが、ほとんどのコンピュータユーザーがその能力の1%も使えてないのではないか。そんな気がするのだ。 というか、コンピュータの能力が人類の進歩に比べて上がり過ぎてる。 おかげでゲームもAIもビデオ編集も手軽になった。 MacBookの新しいCPUが発表されたのだが、40%高速化したというニューラルエンジンを一体全体何に使えばいいのか、人工知能の研究者である吾輩にもわからないので、これを使いこなすことができる人は将来登場するのだろうか。 コンピュータの能力を真に最大限引き出すには、残念ながらプログラマーになるしかない。しかも、マシン語レベルの最適化ができるプログラマーである。 プログラムさえ丁寧につくればコンピュータの持つ潜在能力は圧倒的に高い。だがコンピュータに比べて人間は頭が悪すぎる。 結局のところ、道具がどれだけ進歩しても使う側の人間の想像力が追いつかないと全

StableDiffusionに対応したGakyoを雑な設計のためわずか数日で10万円くらいのクラウド利用料がかかってしまった。

私、社長ではなくなりました。 思えば、会社を飛び出して19年、海外に行ったり、個人事業主になったり、結局会社を作ったり、ゲームを作ったり、CMSを作ったり、ハードを作ったり、やりたい放題やってきて、つくづく思っていたのは、「俺は社長には向いてない」ということでした。 過去のブログでも度々言及していたように、社長ほど割りに合わない仕事はありません。 給料が高くていいなあと思うかもしれませんが、中小企業の社長なんて、少しお金が貯まれば、すぐに自社株買いに回さなくてはなりません。結局、形を変えて会社にお金を戻していたわけです。 川上量生さんも以前言っていたように社長になるというのは、社長を辞めるゲームの始まりです。いかにいい形で社長を辞めることが出来るか。会社が軌道に乗り、自分が一から百までやらなくても、社員が自律的に行動し判断し、会社が持続的に成長出来るようになること、そのために必要な幹部社員

DXを阻む障害 2021.07.22 Updated by Ryo Shimizu on July 22, 2021, 09:12 am JST いわゆるDX、デジタルトランスフォーメーションする必要性を多くの企業が迫られている。 ところが、これがなかなか難しい。 たとえば、DXをコンサルティング会社に依頼するも、そもそもそのコンサルティング会社そのものがDXしてないので「DXのようなもの」しか提案できない。 とあるコンサルティング会社が顧客先にDXを提案する資料を見せてもらったことがあるが、一言で言えば、それはDXというよりも「OA化」と呼んだ方がいい段階の提案に留まっていた。 たとえば、「AIの活用」という項目では、「FAX書類に書かれた文字の自動読み取り(AI-OCR)」という項目があるだけで、そもそも我々のような生粋のIT企業では、仕事上の文章は全てE-mailやPDFでやり取りさ

AI企業のユビキタスエンターテインメント（UEI）は10月1日、前日付で解散したと発表した。発表文に解散の理由は書かれておらず、「突然の解散でご迷惑をおかけします」と謝罪している。 ドワンゴの初期メンバーの1人だった清水亮氏が2003年に創業した企業。深層学習用ハイスペックPC「Deep Station」シリーズを展開してきた他、2013年には、プログラミングが行える手書きベースのタブレット型コンピュータ「enchantMOON」を発売するなどして注目を集めた。 清水氏が長く代表を務めてきたが、今年3月末付で退任し、鳥居由規彦氏にバトンタッチしていた。2017年、UEIは、ソニーコンピュータサイエンス研究所とベンチャーキヤピタルのWiLとともに、AIベンチャーのギリアを設立 。清水氏は現在、ギリアの社長を務めている。 【訂正：2020年10月2日午後1時46分　記事初出時、社名を一部誤って

牛の背に乗るネズミになれ! ソフトウェア思考のススメ 2020.01.04 Updated by Ryo Shimizu on January 4, 2020, 14:06 pm JST 昨年一年間をかけて、僕は日本の大企業群を研究した。 大企業の中心で働く様々な人にインタビューし、彼らの会社が技術をどう捉え、ビジネスをどう捉えているかを知った。 どうしてこれほど海外のネット企業勢の蹂躙を許しているのだろうか、という疑問に答えるためだ。 そしてわかったのは、根本的に日本のビジネスシーンでは「ソフトウェア」が理解されていないということだった。 プログラミングではない。ソフトウェアである。 アメリカのネット企業のトップも全員がプログラマーというわけではない。 しかし、彼らはソフトウェア的発想、ソフトウェア的思考法というものをごく当たり前のように身に着けている。 これを僕は「ソフトウェア思考」と