こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f

BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「

Googleが新OS『Android XR』を発表しました。

＊麺処 にしむら(大阪市鶴見区) こんにちは！ 株式会社ビヨンド大阪オフィスのラーメン王、ヒデです。 今回が6回目の投稿です。 前回は Cloudwatch アラームを Chatbot を使って Slack に通知することについて書きました。 Chatbot という便利ツールを使って通知する、面白い記事を書いたので、ぜひ興味ある方は見てくださいね！ AWS Chatbot で CloudWatch アラームを Slack へ通知しよう！！ CloudWatch Logs の文字列監視とは？ CloudWatch Logs は、AWS リソースの監視をしている CloudWatch にある機能の一部で、Amazon EC2 にあるアプリケーション・アクセスログ等を簡単に収集してクラウド上に保存できる機能となっています。 クラウド上に保存できるので、特定のログを確認したい時に簡単に検索すること

はじめに 本記事は、生成AI Advent Calendar 2024の10日目の記事です。 画像生成AIを勉強する中で、確率分布をモデル化するために、対数尤度を最大化するように学習しますという話はよく聞く話だと思います。 私も、画像生成AIの一つである「拡散モデル」に関して、簡単な理論的説明の記事を書きました。 理論的説明と言いましたが、ほとんど数式を使わずに簡単に解説したので、誰でもわかりやすく読めると思います。 （下の記事は少しだけ数式が増えるので、数式的な興味がある方だけがみていただければと思います） 上記の記事でも、説明しましたが、基本的に画像生成AIでは、自然画像の確率分布を学習しており、そのために対数尤度の最大化を行い、確率分布を学習しようとします。 しかしながら、どの参考書や技術記事を見ても、（拡散モデルやVAEでは）対数尤度ではなくELBOを代わりに最大化させるようにして

日本語LLMまとめ ​[ English | Français | 日本語 ] 日本語LLM・海外LLMのパラメータ数の推移。日本語モデルの情報は本記事、海外モデルの情報は LifeArchitect.ai の Models table を参照しています（ただし、図のスペース上一部のモデルは省略。また、海外モデルのパラメータ数は推測値を含む）。修正・追加等ありましたらお知らせ下さい。この記事は、一般公開されている日本語LLM（日本語を中心に学習されたLLM）および日本語LLM評価ベンチマークに関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。 以下の点について、あらかじめご理解とご了承をお願いいたします 本記事の内容は、完全性や正確性を保証するものではありません。これらの情報は予告なく変更されることがあり、また最新

みなさん、こんにちは！私は株式会社ulusageで技術ブログを担当しているエンジニアです。最新の情報や、日々の開発で役立つTipsを皆さんと共有していきたいと思います。どうぞよろしくお願いします。（もしこのブログの仕組みやシステムフローに興味があれば、ぜひお知らせください。皆さんのご要望に応じて、詳細な記事を作成します！） Pythonでのデバッグ：print()からic()へ、革新の手法 はじめに Pythonで開発を進める中で、皆さんも一度は「なぜこのコードは期待通りに動かないのだろう？」と頭を抱えたことがあるのではないでしょうか。そのようなとき、print()関数を使って変数の値を出力し、デバッグを行うのは一般的な手法です。しかし、複雑なコードや大規模なプロジェクトでは、print()だけでは限界があります。今回は、そのデバッグ手法を一歩進めるためのライブラリ「IceCream」とそ

作り方 食パンに塩こんぶをのせ、上からチーズをかぶせる オーブントースターでチーズにほんのり焼き色がつくまで焼けば完成

ナンバープレート認識API「NumberVision API」をリリース。撮像した画像から瞬時に車両ナンバープレートを認識し、AI技術によってデータ化。さまざまな場面でのナンバープレート認識に対応し、ソフトウェアやWebサービスの開発者が手軽に取り入れることができます。 2024年11月6日、株式会社スカイロジック（本社：浜松市中央区、代表取締役：南野真吾）は、ナンバープレート認識API「NumberVision API」の提供を開始しました。撮像した画像から車両ナンバーを認識し、データ化させるAPIを開発しました。1枚の画像から複数のナンバープレートの同時読み取りが可能。今まで認識が難しいとされている動いている車両や駐車場以外の車両の出入りがある場所、屋外屋内さまざまな場面での運用ができます。 NumberVision APIを体験してみよう NumberVision API 製品紹介ペ

NianticとTokyo Legacy Parks のパートナーシップ都立明治公園にAR体験「Niantic Park」を提供 AR技術をリードするNiantic. Inc.とTokyo Legacy Parks株式会社（代表構成団体：東京建物株式会社）は都立明治公園にAR体験をもたらすことを目的に戦略的なパートナーシップを締結しました。このパートナーシップにより、Nianticの高度なAR技術を活用し、都立明治公園の来園者に没入感のある魅力的なAR体験「Niantic Park」を提供することで、都立明治公園の魅力と認知を高め、より多くの方々を惹きつけたいと考えています。 コンピューターが使える地図情報を作成することを目的に、Nianticのスキャニング技術「Scaniverse（スキャニバース）」を活用し、都立明治公園の詳細な3Dマップを構築していく予定です。Nianticが、Sca

本文中コード github.com flat layoutとsrc layoutについて Pythonプロジェクトのディレクトリ構成について調べてたところ、flat layoutとsrc layoutという2種類のディレクトリ構成が存在することを知りました。 src レイアウト対フラットレイアウト - Python Packaging User Guide flat layout flat layoutはパッケージフォルダをプロジェクトのルート直下に配置するスタイルです。 flat layoutの有名なpythonプロジェクトだと、 pytorch, django, tensorflow があります。 . ├── README.md ├── pyproject.toml └── my_package/ ├── __init__.py └── module.py src layout 一方、

15周年を迎える不朽の名作「STEINS;GATE」の新作謎解きゲーム没入体験型謎解き『STEINS;GATE 不可侵領域のカルキノス』2024年11月1日より東京・大阪・名古屋で同時開催！〜あなたの自宅から始まる新たな「STEINS;GATE」豪華声優陣と共に体験する、臨場感あふれる謎解きイベントを期間限定で開催！〜 WebAR作成サービス「palanAR」を提供する株式会社palan (本社：東京都渋谷区、代表取締役：齋藤 瑛史）は、今年15周年を迎える想定科学ADV『STEINS;GATE』を題材とした、没入体験型謎解き『STEINS;GATE 不可侵領域のカルキノス』の製作委員会に参画し、当コンテンツを体験できる謎解きイベントを2024年11月1日より東京、大阪、名古屋の3都市で開催する事を発表いたします。 特設サイト：https://sg-karkinos.jp PV:https

岐阜市AR謎解きラリー概要 「駅とまちを光でつなぐ杜のイルミネーション」と「ぎふ灯り物語2025」の連携企画として、岐阜市が舞台となっているアニメ、「変人のサラダボウル」キャラクターと光のイベント会場を巡る謎解きラリーを開催します。 各スポットでスタンプを獲得し、イベント限定画像やオリジナルハンドタオルをGETしよう！ 光の謎 駅とまちを光でつなぐ杜のイルミネーション会場 謎解きスポット 岐阜駅前広場エリア セントラルパーク金公園エリア 開催期間 2024年11月15日（金曜）から2025年1月26日（日曜）まで 開催時間 午後5時00分から午後10時00分まで 灯の謎 ぎふ灯り物語2025会場 謎解きスポット 岐阜公園エリア 正法寺エリア 開催期間 2025年1月18日（土曜）から2025年1月26日（日曜）まで 開催時間 午後5時00分から午後8時30分まで 主催 岐阜駅周辺活性化実行

米Metaは9月25日（現地時間）、自社カンファレンス「Meta Connect 2024」にて、開発中のARグラス「Orion」を発表した。同社が10年の歳月を経て作り上げたARグラスで、広視野角ディスプレイや、EMG（筋電図）で操作できるニューラルインタフェースを搭載しながら、単体動作するメガネサイズのデバイスに仕上げた。さながら、アニメ作品「電脳コイル」に登場する「電脳メガネ」のようだ。 Orionは、ビデオパススルーではなく物理的な視界に映像を重ねられるARグラスで、同社CEOのマーク・ザッカーバーグ氏は、ホログラフィックARグラスと呼称する。100g以下の本体に、バッテリー、独自開発の超低電力プロセッサ、広視野角ディスプレイ、スピーカー、カメラ、アイトラッキングセンサーなど、ARグラスに必要なパーツを全て詰め込むことに成功。MetaのAIとも連携し、カメラでユーザーの視界を認識し

自身のウェブサイトやアプリケーションにカスタムマップを表示したい場合、サイトへの登録やユーザーデータベースの作成、使用料の支払いなど面倒な手順を踏む必要がある場合もあります。しかし、ソフトウェアエンジニアのZsolt Ero氏が提供する「OpenFreeMap」は、無料でカスタムマップを表示できるほか、セルフホストすることも可能です。 OpenFreeMap https://openfreemap.org/ 実際に表示されるマップの例が以下。白黒でシンプルに表示されるマップが「Positron」です。 「Bright」ではカラーでマップが表示されるほか、ビルなどの名称が表示されます。 「3D」はマップを鳥瞰(ちょうかん)で見ることが可能で、ビルなどが立体的に表現されているのが特徴です。右クリックでマップを回転・角度を変化させることも可能です。 もう一つのスタイル「Liberty」は「Bri

エクスプローラ機能、2024年9月19日より提供開始 AR Maps（ARを配置したデジタルマップ）を展開する株式会社palan (本社：東京都渋谷区、代表取締役：齋藤 瑛史）は、「エクスプローラー機能」を2024年9月19日にリリースします。この新機能は、ゲーム感覚で楽しみながら回遊する観光体験を実現し、地域の持続可能な観光を創出します。 サービス動画 https://www.youtube.com/watch?v=Qbb8hTWhXDk エクスプローラー機能にご興味がある企業、自治体の方はこちらからお問い合わせください。 エクスプローラー問い合わせフォーム エクスプローラー機能追加の背景 2024年1月にリリースしたAR Mapsは、歴史の再現やデジタルアートなど、AR（拡張現実）コンテンツを地域に配置する新しい観光体験を提供するデジタルマップサービスです。 リリース以来、ユーザー（観

台湾に本拠を置くLILINは9月9日、AIカメラによる高精度のナンバープレート＆車両認識システムを開発した、と発表した。 AIアプリケーションの進化する分野において、ナンバープレート認識はスマートな法執行、駐車管理、アクセス制御などで重要な技術。精度だけでなく、さまざまな車両プレートへの対応、異なる国のカバー、特殊プレートの処理能力なども重要な要素となる。 LILINは長年にわたりナンバープレート認識の先駆者であり、AIの採用以前から高精度のアルゴリズムを提供してきた。近年のAI統合により、LILINは車両認識の能力も拡張し、より包括的で多用途なソリューションを実現している。 LILINのスマート交通ソリューションは、ナンバープレートおよび車両認識の両方を網羅している。このシステムは、標準車両、オートバイ、大型バイク、トラック、軍用車両、外交車両、テストプレートなど、地元の自動車局が発行す