AIにとって微分可能性が必須条件でなくなりつつある意味 2024.07.04 Updated by Ryo Shimizu on July 4, 2024, 12:26 pm JST かなり長い間、本欄でも「AI(人工知能)」と書くときに、注釈として「AI(人工ニューラルネットワーク)」と書く必要があった。 というのも、AIという言葉が指す意味は範囲がとても広く、解釈次第ではただの電卓や辞書、IMEまでもがAIと呼べてしまうからだ。 だから、「AI」という言葉を多用する人を見た時、それは「新しいインチキ(Atarashii Inchiki)」であると考えた方が良いというジョークを言ったものである。 ここ5年で、事態は一気に変化した。今やニューラルネットワークでないものを「AI」と呼ぶのは憚られる。まあそれでもニューラルネット以前の古いシステムをいまだに「AI」と呼ぶようなIT(インチキ)企

Google Apps Script(GAS)では画像ファイルはBlob形式で扱うことが多いです。 ただ、外部のAPI利用時に画像をBase64形式に変換するエンコードが必要になることがあります。 そこでGASでBlob形式の画像ファイルを、Utilities.base64Encodeメソッドを使ってBase64形式に変換する方法を解説します。 GASは通常Blob形式で画像を扱うGoogle Apps Script(GAS)では、Googleドライブなどから画像ファイルを読み込む場合、Blobオブジェクトで画像を扱います。 BlobオブジェクトはGASで利用可能な各種サービス間でデータをやり取りするためのフォーマットです。 Gmailのメールに画像を添付したり、Googleスライドに画像を挿入する際に、Blob形式にしておくことが求められます。 Base64形式とはBase64は64進数

GoogleAppsScript（GAS）では、「テンプレート」にHTMLコードを書き込んでおくと、WEBページとして表示させる事ができます。 このテンプレートは一般のHTMLファイルに似て非なるもので、HTMLファイルに無い便利な機能を利用できる一方で、HTMLファイルでは機能していたコードが利用できない場合もあります。 後者の代表例が、HTML要素でサーバ（Googleドライブ）にある外部ファイルをリンク指定（src属性による）で参照しようとした場合、しばしばリンク切れを起こして参照に失敗する点です。 たとえばＩＭＧ（画像）タグで、以下の様にリンクを指定しても、リンク切れで画像ファイルが参照されない事がよくあります。 <img src="https://......画像.jpg>同じコードを、一般のHTMLファイルとして一般のサーバに置いた場合は問題なくリンクが機能するのですが・・・。

この2024年1月に入って少し話題となった、Googleドライブ内の画像が 今までの方法で Webサイトで表示できなくなった問題を取り上げてみたいと思います。 後半はGoogleドライブの画像をWeb掲載する注意点と、少し動きのある Webを GASで作るサンプルコードも！ Googleドライブ関連ってことで、先週までの流れと少し繋がる部分もあるかなと。 先週は Googleスプレッドシートを操作する GAS Spreadsheet Serviceで スプレッドシートの共有メンバーを出力したり、共有を操作するネタを書きました。 Googleドライブ内の画像が Webページ埋め込みで表示できなくなった問題の解決策「前置きはいいから、困ってるから早く答えが知りたいんだ～」 って人の為に、最初に結論（解決策）を書いておきますね。 ■いままでの書き方（現在は 上の画像左のように表示されない） <i

目的 初めまして。初投稿です。駆け出しの IT エンジニアです。 最近業務で GAS を触っていたので、得た知見をまとめてみました。 やってるといろいろと悩むことも多いので、僕が調べた内容を記載しておきます。 内容に間違いなどありましたら、ご指摘いただけると幸いです。 書いていると長くなっちゃいました。通しで読むと、同じようなコードが何回も出てきます。 できるだけ、必要な箇所だけ読んで、完結するようにしたためです。 これから始める人の参考になれば最高です！！ GAS とは GAS(Google Apps Script)は無料で利用できる Google のローコードプラットフォームです。 Microsoft でいう VBA 的なことが記述できるところです。 SpreadSheet や Form, Document など Google のサービスに独自のアドオンを付けたいときは便利なサービスで

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 書籍「ディープラーニングの数学」の著者です。 Amazonリンク この書籍は、ディープラーニングを含めた機械学習のアルゴリズムを数学的に定式化し、Pythonのプログラムをスクラッチで組み立てて(使っているライブラリはほぼNumPyとMayplotlibだけです)、実習コードで動作を確認する立て付けの本です。 10章の実習プログラムはディープラーニングのプログラムになっているのですが、他の章の実習コードと比べて恐ろしく処理に時間がかかります(1つの繰り返し処理で30分から1時間)。ここをなんとかできないかと前から思っていて、先

初投稿です。初心者です。Viteのプラグインに良さげなやつがあった＋日本語で検索しても単品での紹介記事が無かったので書いてみました。 書いてある内容や用語の使い方に誤りがあれば、ガンガン指摘して頂けると幸いです。CORS関係の部分があまり自信ないです。 対象読者：Viteを使ってJavaScriptのWebアプリを作っている人。 記事概要：Viteのビルドで単一htmlの出力を可能にする「vite-plugin-singlefile」の紹介。Vite標準のビルドで出力したhtmlをブラウザから直接開く(fileプロトコルでアクセス)するとエラーが出る理由(CORS関係)。 「vite-plugin-singlefile」とは 「vite-plugin-singlefile」とは、Viteのビルドで「全部のJavaScriptとCSSがインライン化されている、単一のhtmlファイル」の出力を

transformersとaozorabunko-cleanで、日本語ModernBERTモデルを作ってみることにした。ただ、ModernBERT-baseのトークナイザは日本語にあまりに不向きなので、昨年1月2日の記事で作ったDebertaV2TokenizerFastを使い回すことにした。また、ModernBERTの入力トークン幅は8192と大きいので、train.txtも各行10000文字程度にした。 #! /usr/bin/python3 #pip3 install transformers accelerate deepspeed triton datasets fugashi unidic-lite import os,json os.system(""" if test -d transformers then : else git clone --depth=1 https

2024年12月20日にModernBERTが発表されました。 ModernBERTは、これまでのBERTやRoBERTaなどのTransformerのエンコーダ型モデルを改善したモデルです。 ModernBERTは、Answer.AIとLightOnによりリリースされました。 この記事では、ModernBERTの中身について、論文やブログ記事を見ながら理解していきます。 概要 シーケンス長が最大8192トークンへ PositionalEncodingを回転位置埋め込みであるRoPE(Rotary Positional Encoding)に置き換える Unpaddingにより、長さの異なるトークン列を含むバッチの処理時間を短縮 Attention層にLocal AttentionとGlobal Attentionの仕組みを導入し、学習時間を短縮 処理の高速化のため、Flash Attent

ごちきか# NTTコミュニケーションズ イノベーションセンターでは、社会・産業DXのためのSmart World の一環として、時系列データ分析手法の研究開発、お客さまのデータ分析支援や社内データ分析人材育成を行っています。 ごちきか（gochikika） は、これら研究開発成果やデータ分析人材育成コンテンツをまとめたナレッジベースです。大別してメインコンテンツは以下の通りです。 分析: 主に製造業の時系列データを対象として、前処理からモデリングまで一連の基本的な分析手法をPythonコード付きで解説しています。 特集記事: 比較的新しめであったり難易度の高い手法や、私たちの取り組みを知ってもらうための学会発表資料が掲載されます。また一部未分類なコンテンツが格納されています。 私たちの研究開発成果は、同じくイノベーションセンターで開発しているノーコードAI開発ツールNode-AI に搭載さ

今のLLMを取り巻く状況について紹介します。

産業用ネットワークの始まり～1980年代に登場したGM主導のMAP～：産業用ネットワークのオープン化の歴史（1）（1/2 ページ） 本連載では、産業用ネットワークのオープン化にまつわる歴史について紹介します。今回は、製造現場にコンピュータが導入され始めた1980年代に登場したMAPを中心に説明します。 はじめに 工場の中で人手をできるだけ使わず、機械が作業を行う、いわゆるオートメーションによるモノづくりが始まったのは1920年代であると聞いています。オートメーションは日本語では「自動運転」となり「機械化」ということにもなります。 いつ頃から製造現場の機械にコンピュータが実装され、そしてコンピュータの能力を活用して、どのようにオートメーションが進んだかは、それだけで1つの話題となりますが、本連載ではオートメーションに使われる工場内の機器同士がデジタル通信を介してつながる、つまり産業用ネットワ

この記事はANDPAD Advent Calendar 2024の17日目の記事になります。(投稿予定の12/17前後で風邪を引いてしまい投稿が遅れてしまいました。🙇‍♀️) @youchanです。実は今年の8月にアンドパッドに入社していました。アンドパッドではインフラコストを削減するための施策を行なうチームに配属しています。 アンドパッドでは建設業のDXを実現するサービスを提供しています。建設の現場では多くの写真が取り扱われます。膨大な写真データはインフラコストに響くので削除できるものは削除したいところです。実際にサムネイル画像も保存されていたりして削減可能なものがたくさんあります。 私の最近のミッションはこの不要なファイルを削除するということなのですが、ファイル数が膨大なためいくつかの工夫が必要なのでそれについて記事にしたいと思います。 また本稿では、課題を通して並行・並列処理につい

# day_embedding: np.ndarray tsne = TSNE(n_components=2, random_state=42) day_embedding_2d = tsne.fit_transform(day_embedding) plt.figure(figsize=(12, 8)) plt.scatter( day_embedding_2d[:, 0], day_embedding_2d[:, 1], c=np.arange(day_embedding.shape[0]), cmap='viridis' ) plt.colorbar(label='Day Index') plt.title('t-SNE Visualization of Day Embeddings') plt.xlabel('t-SNE Component 1') plt.ylabel('t-SN

コミューン株式会社で機械学習エンジニアをしている深澤です。 この記事はCommuneアドベントカレンダー(シリーズ2)の 21 日目の記事です。 直前まで全く違う記事を書いていたのですが、ModernBERT というアツいモデルが発表されて話題になっており、Huggingface の公式からブログも出ているので、早速読んでみた感想をアドベントカレンダーの記事にすることにしました。感想だったり、付属事項を調べてみたので記事として昇華することを目指しています。 翻訳したもの、というよりは要点をかいつまんだものになっています。詳細は以下の記事を御覧ください。 記事 論文 コード ModernBERT のここがすごい Token length が 8192 に拡張(！？) もともとは 512 です。10倍以上になってる... GLUE スコアもかなり向上 それでいてbase (139M param

さて、ChatGPT が非常に盛り上がっていますが、2022年11月にリリースされた ChatGPT は GPT-3.5 というモデルがベースになっています。 そして、2023年3月にはその後継モデル ... OpenAI 『ChatGPT』APIの使い方を解説 非常に話題になっている ChatGPT ですが、OpenAI のWebサイトにアクセスして使うのではなく、API の形で Python を使って利用する方法を解説しています。 これがわかれば、自分で GPT を使ったチャットシステムを作ることができます。

3. どうやってモデルを比較したのか 上記の比較結果を出すために、 LMDiff というツールを利用しました。 トークナイザーが一致している二つの言語モデル（gpt系やbert系）と、テキストのデータセットをこのツールに入力することで、簡単に比較を行うことができます。 このツールには二種類の分析手法があります。 一つ目が、データセットレベルでの分析手法です。複数の文章を対象にモデルを比較することで、特に予測結果の差が大きかった文を確認することができます。 二つ目が、文レベルでの分析手法です。一つの文を対象にモデルを比較することで、特に予測結果の差が大きかったトークンを確認することができます。 以下の章で、分析手法の詳細について説明します。 データセットレベルでの分析 一つ目は、複数の文章から構成されるデータセットを元に、二つのモデルの性能を比較する手法です。 文章中の各文に対する、二つのモ