前書き 2022年4月6日、OpenAIはテキストから画像を生成するAIモデル「DALL-E 2」を発表しました。この記事では同モデルの仕様と仕組みをまとめ、想定されるリスクも確認したうえで同モデルが社会に与える影響を考察します。こうした考察をふまえて、記事の最後には日本語版マルチモーダル画像生成モデルを開発する際の留意点も挙げます。 以下の内容は、OpenAIが発表したDALL-E 2に関するブログ記事、同モデルを詳述した論文、そして同モデルのリスクについてまとめたレポートにもとづいています。 DALL-E 2の仕様概要 DALL-E 2とは、「馬に乗った宇宙飛行士をフォトリアルなスタイルで」というような画像を説明するテキスト（キャプション）を入力すると、テキストの内容に沿った画像を生成する画像生成モデルであり、2021年1月に発表されたDALL-Eの後継モデルにあたります。 注目すべき

さて、視覚・言語を扱う基盤モデルとしては、2021年の CLIP がブレイクスルーでした。CLIPはテキストと画像を同じ特徴空間に写像する2つのエンコーダからなります。CLIPを使うと、次のようにして任意の画像分類問題を追加の学習なしで解くことができます。まず、各候補クラスを文章の形式（例：「犬の写真」）にした後、テキストエンコーダに入力します。次に、分類したい画像を画像エンコーダに入力します。最後に、画像から得られたベクトルと候補クラスたちから得られた複数のベクトルとのコサイン類似度を計算し、最も類似度が高いクラスを出力結果とします。 CLIPによるゼロショット画像分類の方法。OpenAI Blogより引用 CLIPは画像とテキストというモードの異なる情報を意味的な近さによって結びつけることを可能にしました。CLIPを教師のようにして使うことで、テキストから画像を生成するモデルを訓練する

Object detection has been a hot topic ever since the boom of Deep Learning techniques. This article goes over the most recent state of the art object detectors. First we will start with an introduction to the topic of object detection itself and it’s key metrics. The evolution of object detectors began with Viola Jones detector which was used for detection in real-time. Traditionally, object detec

YouTube Walk-through by The AI Epiphany This is a fast, minimal port of Boris Dayma's DALL·E Mini (with mega weights). It has been stripped down for inference and converted to PyTorch. The only third party dependencies are numpy, requests, pillow and torch. To generate a 3x3 grid of DALL·E Mega images it takes: 55 sec with a T4 in Colab 33 sec with a P100 in Colab 15 sec with an A10G on Hugging Fa

免責 まず、この文書の著者は法律の専門家でもなく機械学習の専門家でもありません。またどちらも専門教育の経験や学位があるわけでもないので一意見として読んでいただくとありがたいです。また国内法以外の法律には明るくないため、米国法などは知識が浅いです。またこの文書が扱っている事項は著作権法のみであり、個々のライセンスの侵害などについては扱いません。 はじめに:AI創作物と著作権 近年、機械学習などの人工知能技術の進展により文章や絵画などの学習と生成が容易にできるようになりました。こういった状況下で気になるのは機械学習などの人工知能技術によって生成された各種創作物(今後はAI創作物と表記します)の権利関係です。本稿ではプログラム[1]生成、特にGitHub Copilot[2]に関係する著作権について記述しました。 知的財産権のおさらい 創作活動の成果には知的財産権という権利が付与されます。知的財

オープンソースソフトウェアコミュニティのために活動している非営利団体・Software Freedom Conservancyが、「GitHub」の利用をやめて他プラットフォームへの移行支援を行う長期計画を発表しました。以前からGitHubを避けるようにという呼びかけは行ってきましたが、あまり効果がないため、より強い行動に出た形です。 Give Up GitHub: The Time Has Come! - Conservancy Blog - Software Freedom Conservancy https://sfconservancy.org/blog/2022/jun/30/give-up-github-launch/ Give up GitHub: The time has come | Hacker News https://news.ycombinator.com/ite

Joe McKendrick （Special to ZDNET.com） 翻訳校正： 石橋啓一郎 2022-07-05 06:30 人工知能（AI）のアプリケーションに倫理観を組み込めるツールがあったとしたら、どんなに良いことだろう。 多くの開発者やIT部門は、顧客とのタッチポイントや意思決定システムにAIの機能を組み込むことを求める、組織からの強いプレッシャーに晒されている。しかしその一方で、社会ではAIにはバイアスやプライバシーの侵害が問題が内在しているという糾弾の声が上がっている。つまり、この分野は訴訟のリスクが高いということだ。 Reid Blackman氏は、近く刊行予定の「Ethical Machines: Your Concise Guide to Totally Unbiased, Transparent and Respectful AI」（Harvard Busine

人事担当者や採用担当者にとって、優秀な人材の発掘は相変わらず困難な課題だ。企業は、履歴書のスクリーニングや面接の日程調整などの作業を人工知能（AI）技術に頼っている。しかし、AI採用ツールは倫理的かつ効率的なものなのだろうか？　自動化された採用活動には、メリットもあれば落とし穴もある。 AI駆動テクノロジーと採用管理システム（ATS）は、世界中の企業にとって欠かせないツールとなっている。Predictive Hireによると、採用担当者の55%がAI採用への投資を行っている。そして、フォーチュン500企業のほとんどが、採用チームやリクルーター自身の目に触れる前に、AI技術を利用して履歴書をフィルタリングしている。 だが近年、データ解析やAIを用いた採用ツールに対する倫理性や有効性が懸念されるようになっている。採用管理システム（ATS）を導入した企業には、優秀な候補者を排除してしまう危険性が

東急セキュリティは、東急東横線・田園都市線渋谷駅にて、異常やその予兆を防犯カメラ映像から発見する異常検知ソリューション「icetana」を活用した警備オペレーションの実証実験を開始したと発表した。 実証実験イメージ サイバーセキュリティなど手がけるマクニカの扱うAI画像解析技術を活用した「icetana」が、「通常と異なる違和感」として検知した駅構内カメラの映像を東急セキュリティの鉄道警備員が確認し、声かけや遺留物の確認などの早期オペレーションが実施できるかを検証する。駅構内での利用者同士のトラブルや、急病人・異常行動の予兆など、画像解析技術で発見し、早期対応を行うことで、安全対策の強化と警備品質の向上をめざす。 実施期間は7月29日まで。まず、渋谷駅構内にある防犯カメラのうち12台に「icetana」を接続し、映像を取得する。取得した防犯カメラ映像を「icetana」が約2週間かけて解析

日本テレビ放送網（東京都港区）は7月5日、映像編集の自動モザイク入れAIソフトウェア「BlurOn（ブラーオン）」を発表した。バラエティー番組や報道番組のモザイク入れ作業を最大90％効率化するとしている。 画像認識AIで動画の中から人の顔やナンバープレートを自動検出するAdobe After Effectsのプラグイン。開発にはNTTデータが協力した。検出作業はクラウド上で行うため、PCに高いスペックは求めない。 日本テレビやグループ会社によるBlurOnによる検証では作業時間を最大90％程度効率化できたという。自動検出する対象は今後も追加するとしている。 日本テレビによるとモザイク入れは非常に手間のかかる作業で、例えば1分の映像素材へのモザイク入れはベテラン編集者でも1時間程度掛かることも。近年では個人情報保護の重要性の高まりから慎重な対応が必要で現場の作業負荷が増大していた。 関連記事

深津 貴之 / THE GUILD @fladdict 補足説明すると。「DALL-E2という、言葉でリクエストすると画像を返してくれるAI」というのがあって、それにリクエストをして生成された画像です。 AIに命令してるのは人間、アップしてるのも人間。変な画像がでてきたら人間の責任。 openai.com/dall-e-2/ 2022-07-03 22:47:14 リンク OpenAI DALL·E 2 DALL·E 2 is a new AI system that can create realistic images and art from a description in natural language. 44 users 4092