Apple silicon専用の機械学習フレームワークMLXと，MLXを用いた大規模言語モデル（LLM）を利用するためのツール群MLX-LMを用いて，芥川賞作家円城塔の小説を模倣する（ことが期待される）小説生成機関を作成したので，作成方法や運用結果について記す． 導入 方法 結果 議論 国立情報学研究所が公開するllm-jpの元データの再配布に関する著作権法上の問題 円城塔の模倣を生成するために，エンジニアが円城塔を模倣する必要がある問題 確認のために結局人力査読が必要な問題 感想 おまけ 参考文献 導入 Appleは，自社で開発したApple silicon専用の機械学習フレームワークMLXを公開し，またMLXを用いた大規模言語モデル（LLM）を利用するためのツール群MLX-LMを開発・公開している． 一方，芥川賞作家である円城塔は，自身のGitHubで小説データセットを公開している．デ

本連載について AIの社会的影響について考え始めたのは、8年ほど前。当時は「ブームだしちょっと考えてみよう」というつもりだったが、社会的の関心は落ち着くどころかどんどん大きくなっていき、私自身も考え続けることになった。いまでは、AI関連の新聞記事に目を通すのが日課になってしまった。 「AIと社会」に関してどんな論点があり、何を知っておくとよいのか。すでに膨大な文献があるのは承知しているが、自分なりの考えを文章にしておきたい。「AIと社会」思考整理ノートと題した、2～3回の連載をやってみる*1。 第1回は、AIがもたらす「問題」について考える。 Vol.1：AI問題のタクソノミー AIと社会の関係、とりわけその負の側面に関する議論は、たいてい「問題の列挙」から始まる。人工知能（AI）という用語でくくられる技術範囲は広く、大規模言語モデルや強化学習など技術の範囲に絞っても、その応用範囲が広く、

かなり前から「ChatGPTに学術論文を（英語で）書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りました。それがこちらです。 もう読んで字の如しで「ChatGPTが登場して以来学術論文に使われる単語のレパートリーが劇的に変わってしまった」というのを、実際に具体的なデータに基づいて示した論文です。割と短めの読みやすい論文であることと、先述したようにSNSでは頻繁に噂されていた推測を明確化したということもあり、折角ですのでこのブログで簡単に紹介してみようと思います。 Preprintあげたのでご報告！📣 ChatGPTが使いがちな英単語ってありますよね。「delve」「realm」「utilize」あたり。 （限界助教先生の記事

3/15（金）、一橋講堂（千代田区一ツ橋）にて、DHの国際シンポジウム「ビッグデータ時代の文学研究と研究基盤」が開催されます。そこで基調講演をしてくださるTed Underwood先生は、ビッグデータ時代の文学研究に正面から取り組む英文学者として活躍しておられ、2019年、その成果として「Distant Horizons: Digital Evidence and Literary Change」をシカゴ大学出版局から刊行されました。この本の序文は、大変興味深いものであり、膨大なデジタルテキストをにどのように取り組めばよいのか、そして、それによって、人がただ読むだけではうまく見えてこなかった文学の様々な側面、特に文学史やジャンルがどのようにして見えるようになるのか、ということについて、ラディカルな議論と一つの解決の方向性を提示しておられます。本の全体としてはその具体的な方法も示されています

苦しみを知る新たな存在のカテゴリーは、必要ないと思うのです。ドミニク・チェン　テッドさんの小説の大ファンですので、インタビューできて光栄です…

ウェブをますます暗い森にし、人間の能力を増強する新しい仲間としての生成AI 2023.06.19 Updated by yomoyomo on June 19, 2023, 16:16 pm JST 少し前に佐々木俊尚氏の「オープンなウェブ世界とジェネレーティブAIの終わりなき戦いが始まる」という記事を読みました。自分の電子書籍に『もうすぐ絶滅するという開かれたウェブについて』というタイトルをつけたワタシ的にも、オープンなウェブが生成AIに脅かされるという話は興味があるのですが、今年はじめに読んだ、Oughtでプロダクトデザイナーを務めるマギー・アップルトンの「拡大する暗い森と生成AI」を思い出しました。 昨今この分野は動きが速く、半年前の文章でも随分昔に思えたりするものですが、都合良いことに、4月にトロントで開催されたCausal Islandsカンファレンスでマギー・アップルトンが「拡

強化学習と呼ばれる機械学習の一分野があります。機械学習というと、入力に対して正解の出力を当てる教師あり学習が話題になることが多いですが、強化学習では明示的に正解が与えられません。ある行動を試してみて、それに対して得られる「報酬」から自分でどのような行動が良い結果をもたらすのかを判断して、より良い行動を学習するアルゴリズムになっています。 強化学習にはチェスやリバーシなどといったボードゲームのAIやロボットの行動学習などの応用例があります。この前話題になったDeep Q Network、通称DQNも強化学習の一種です。応用例が面白いにも関わらず、PRMLなどの主要な機械学習の教科書では強化学習を扱わないことが多いので、いま強化学習だけの参考書を買って勉強しています。 強化学習 作者: Richard S.Sutton,Andrew G.Barto,三上貞芳,皆川雅章出版社/メーカー: 森北出

人工知能規制、資本主義批判、民主主義再考 2023.05.22 Updated by yomoyomo on May 22, 2023, 18:58 pm JST 先週、米上院の公聴会に召喚されたOpenAIのサム・アルトマンCEOが、「AIに規制は必要」と発言したことが話題になりました。ディープラーニング分野に多大な貢献をしたAI研究の第一人者であるジェフリー・ヒントンが、Googleを退社して「AIは人類の脅威になる」と警鐘を鳴らすのと合わせ、今のAIを巡る報道には不安をかきたてる浮足立った空気があります。 冷静に考えれば、AI開発を免許制にすべきという規制を求めるサム・アルトマンの発言は、オープンソースによるコモディティ化を牽制しながら、市場で優位性を確保したところで規制を求めるルールメイキング戦略の定石に沿ったもので、要は現状の優位性の定着が目的であり、驚くところはありません。 た

フォレストワークショップ2023で行った招待講演の内容 ・honest treesとは？ ・Causal treesによる因果推論 ・Random forestの漸近正規性と、causal forestによる因果推論 ・Generalized random forestによる因果推論

検索チャットボット狂想曲：ChatGPTに翻弄されるGoogleのご乱心投稿者: heatwave_p2p 投稿日: 2023/2/262023/2/26 Pluralistic 真に驚くべきことは、検索の未来が関連資料へのリンクではないとMicrosoftが判断したことではない。検索の未来が虚言癖のあるチャットボットが吐き出した華美なパラグラフにあると判断したことだ。さらに注目すべきは、Googleもそれに同調していることである。 Bingに何十億ドルと費やしてきたのに、見向きもされてこなかった。その意味では、バカをやらかしたほうが成功の可能性はあるのかもしれない。だが、世界の検索シェアの90％以上を占める独占企業のGoogleが、なぜMicrosoftと同じ崖から飛び降りなきゃならないのか。 この件に関して、ダン・ホンのMastodonスレッドが実におもしろかった。彼はBingとGoo

OpenAI’s chatbot offers paraphrases, whereas Google offers quotes. Which do we prefer? In 2013, workers at a German construction company noticed something odd about their Xerox photocopier: when they made a copy of the floor plan of a house, the copy differed from the original in a subtle but significant way. In the original floor plan, each of the house’s three rooms was accompanied by a rectangl

こんにちは。「リーダブルコード」を先月読破して、感銘を受けた弁護士の人です。 なにに感銘を受けたかというと、「エンジニアが高級言語を効率的にコーディングするための工夫」は、契約という言語をコーディングするために援用できることがとても多いということです。 例えば、リーダブルコードは「関数には空虚な名前（tmpとかretvalとか）でなく、エンティティの実体に即した名前をつけよう！」と提案しています。 これめっちゃわかります！！！なぜなら、契約言語では当事者というクラスの表現のために「甲」「乙」という定義を未だに使います。そして、甲と乙を逆に書いてしまったままReviewを通過することが実際によくあります。オライリーさんには激怒されるでしょう。 しかし、よく考えると高級言語と契約言語が似ているのは当然だと思うようになりました。それは、どちらも「一定のインプットを入れると、必ず一定のアウトプット

Automate time-consuming research tasks like summarizing papers, extracting data, and synthesizing your findings.

日本最大規模のAIによる物語生成ジェネレーター「AIのべりすとβ2.0」を使い、新しい創造的物語を書いて応募してください。 「AIのべりすとβ2.0」は、日本語で史上最大、総2テラバイト以上のコーパスからフルスクラッチで訓練した小説AIです。 「AIのべりすとβ2.0」は、人間とAIが共同して新しい物語の世界を創造していきます。すでに多くの人が、創作活動を行っていますが、AIのべりすと文学賞を通じて、クリエイターたちの活性化をはかっていきたいと思います。