Today we're sharing our first step towards spatial intelligence: an AI system that generates 3D worlds from a single image.

背景 メタバースやAR等の進展で人体の3Dモデル化は需要大 （Vtuber等のアバター,ゲームモーション作成、映像コンテンツの作成等） 今回は画像や動画からどうやって人体を3D化するかという技術を紹介したいと思います。 3Dモデルの表現方法 画像から3Dモデルを作成する上で重要なのは３Dをどのような形で表現をすればよりNNの学習に適しているかということです。 3DモデルをPoint Cloudのような点群として表現するのか、メッシュとして表現するのかなど同じ3Dにしても多数の表現方法があります。用途やNNの学習に適した表現形式 が多数提案されており、今回はSMPLとNeRFという２つの表現方法に関してご紹介いたします。 押さえておきたい要素技術1: SMPLモデル SMPLとは? パラメータ化された人体の3Dモデル SMPL: A Skinned Multi-Person Linear M

こんにちは。StableDiffusion2.0発表の際に、画像の深度情報を元に被写体の形状を損なうことなく画像生成を行うDepth to Image Diffusion Modelが公開されていましたが、試してみましたところ結構凄かったのでご紹介します。 早く触りてぇ！と言う方はhuggingfaceのデモ版が一番お手軽サクサクに試せると思いますのでどうぞ。 https://huggingface.co/spaces/radames/stable-diffusion-depth2img またhuggingfaceのデモでは解像度が512*512で固定されていますが、colab版では高解像度生成も可能でした。あとgithubはここ。 ちなみにざっと見た限りではAutomatic1111などのweb uiには今んとこまだ実装されてないみたいですね。検索するとDepthMapMaskとかmul

ホロライブの二次創作について みなさまに愛されるキャラクターを生み出していく過程には、携わる全ての方々の圧倒的な愛がこもっています。 ​ クリエイターのみなさまにおいても、ホロライブの二次創作コンテンツを制作いただくことで活動を支えていただき、 ひいては国を越えて拡散し認知されるまでの発展に寄与してくださったこと、改めて御礼申し上げます。 ​ 今後ともより多くのみなさまに堂々と安心して創作活動を行っていただくために 改めて、二次的創作ライセンス規約についてご理解とご協力をお願いします。 ​ ​o ホロライブ二次的創作ライセンス規約 みなさまへのおねがい ライセンス規約をご理解賜り、遵守いただくことで、 当社はみなさまの二次創作活動に対して寛容な姿勢を取ることができます。 ​ 二次創作であるからこそ、ルールやマナーを守ることが大切です。 タレントが嫌がることや不快に感じるコンテンツは認めるこ

3つの要点 ✔️ NeRFとは新規視点の画像生成ネットワークである｡ ✔️ NeRFの入力は､5次元（空間座標のx,y,zと視点のθ,φ）で､出力は体積密度（≒透明感）と放射輝度（≒RGBカラー）である｡ ✔️ NeRFによって従来よりも複雑な形状を持つ対象物の新規視点画像を得ることに成功した｡ NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis written by Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng (Submitted on 19 Mar 2020 (v1), last revised 3 Aug 2020 (this version,

Abstract Recent breakthroughs in text-to-image synthesis have been driven by diffusion models trained on billions of image-text pairs. Adapting this approach to 3D synthesis would require large-scale datasets of labeled 3D assets and efficient architectures for denoising 3D data, neither of which currently exist. In this work, we circumvent these limitations by using a pretrained 2D text-to-image

Twitterで教えていただいた情報で iPhoneでも 交差偏光フォトグラメトリの ３Ｄスキャンができました。 反射や光沢の影響で、変形や穴あきになった、陶磁器のスキャンもiPhoneでできるようになるかも。 https://t.co/R1p7IhFfzP

こんにちは、うえむーです。 今回はThree.js(WebGL)で一年以上勉強した成果と便利なクラス/ライブラリを紹介したいと思います。 Three.js(WebGL)とは？ Three.jsは、少しでも簡単にWebサイト上に3Dのコンテンツを表示するライブラリです。 ライブラリなしでカメラ・影・ライト・メッシュ実装する場合はそれなりの高度な技術が必要になりJavascriptのコード量が膨大になっていきます。 Three.jsのようなライブラリを導入することで、Javascriptの基礎と、Three.jsのクラスを利用することで気軽に3Dのコンテンツを表示することができます。 当初は、Three.jsを勉強したいけどまずどこから手をつければいいかわからず、公式ドキュメントを見ると英文で何をどうすればいいのかわからないかと思います。 Three.jsをこれから勉強するには、以下のサイトを

Boeing's Starliner is back without the astronauts it flew to the ISS

3D都市モデルが実装されることで、未来はどのような展望を見せるのか。 インタビューやレポートを通じて、多角的な視点で3D都市モデル、そしてPLATEAUのさまざまな可能性を読み解きます。

タイトルの通りなんですが、適当に散歩しながら 3D スキャンをやりまくっていくのが 2020 年代最初に来る新たな遊びだという結論に至ったので、みなさん今すぐ iPhone 12 Pro か Pro Max を買ってやりましょう。やってない人はだれも理解していないと思いますが、最高に楽しいです。 そもそも iPhone で 3D スキャンって何だよって話ですが、今年でた iPad Pro から LiDAR が載るようになって、雑に言うと普通にカメラの情報に深度（カメラから物体への距離です）を乗せられるようになったんですよね。そもそもでいうと AR で使って現実世界にいい感じに物を乗っけるのが目的で Apple としても付けた物っぽいし、実際そういうアプリもいっぱい出ています。でも、正直 AR とか Apple Glasses が出るまでどうでもいいじゃないですか。そうなってくると LiDA

ファンクラブへアップグレードすると、ショップへ戻すことはできません。 ショップをファンクラブにアップグレードすると、ファンクラブの機能が利用できるようになります。 アップグレードすることでできること・プランの開設  ファンクラブでは、無料プランのほか、ご希望の会費でファンの方に限定特典を提供する「有料プラン」を作成できます。また、商品に対してプラン限定で販売することが可能です。 ・投稿機能  誰でも自由に見ることが出来る「公開コンテンツ」と、ファンにならないと見ることができないように設定出来る「限定コンテンツ」を作成できます。 ・コミッション機能  ファンのリクエストに答えて納品することで報酬が得られる仕組みです。条件に合ったリクエストのみ引き受けることができるため、空き時間を利用して無理なくはじめられます。 詳しくはこちらをご覧ください。

こんにちは。 私は現在クリエイティブディベロッパーという、フロントエンド＋WebGL 実装する仕事を2年半ほどやっています。 1年半東京の会社で働いたあと半年間フリーランスをして、その後アムステルダムの会社に入社して現在8ヶ月経ちます。 three.jsで絵を作るのが好きで、仕事でもプライベートでもこんなかんじのものを作っています。ほとんどtwitterにあげてるので、興味がある方はぜひ見てみてください。 最近ツイッターのDMでどうやってthree.jsを勉強すればいいかアドバイスが欲しいというのをもらうことが多くなってきたんですが、この質問に答えるのは難しいなと感じています。 人によって得意不得意があるし、始めようと思った時点でどのくらいプログラミングや数学に精通しているか人それぞれすぎて、これがベストな勉強法！これをやれば誰でも大丈夫とは言えないです。 この記事では、私が初心者レベルか

3Dプリンターが家にあると生活は大きく変わります。ものの考え方も変わります。ちょっとした不便があると、『これを解決する物をデザインして出力しよう』となります。 私はスマホのアプリ開発者で、自分で使うアプリの多くは自分で作って使っています。それが生活すべてに広がった感じです。便利＆楽しい。 今回は、3Dプリンターを買ってCADを学んで立体を思うさま作る方法を解説します。立体は誰でも作れますよ。だいたい1週間くらいいじってれば思った形のものを作れるようになります。 2018年の5月に、CADも3Dプリンターもまったく分からない状態から始めて3日程度で大体理解できました。だれでもそれくらいで習得できると思います。 今のCADは本当に驚くくらい簡単に使えます。小学生でも使えるレベルです。『難しそう』なんて言ってないで触ってみればいい。 決して難しいものではありません。『やるかやらないか』だけです。

「米国発プロジェクトなのに、支援者の3割が日本人」　3Dモデルを立体視できる“透明な箱”Looking Glassが日本上陸 「米国発のクラウドファンディングなのに、支援者の3割が日本人だった」──日本のクリエイターが熱視線を送る“透明な箱”が日本に上陸する。 米Looking Glass Factoryは2月26日、3Dデータを立体視できる透明な箱形ディスプレイ「Looking Glass」の受注をクラウドファンディングサイト「Makuake」で始めた。日本語マニュアルと日本語対応カスタマーサポートが付属する日本向けモデルで、実機を入手できる支援額は8.9インチモデルが6万4000円（税込、以下同）、15.6インチモデルが30万5000円から。 Looking Glassは、VR（仮想現実）やAR（拡張現実）ゴーグルなどを使わずに、3Dモデルが透明な箱の中にあるように表示できる据え置き型

VRoidプロジェクトは、「創作活動がもっと楽しくなる場所を創る」を理念とするピクシブ株式会社による3D事業です。 誰もが個性豊かな自分の3Dキャラクターモデルを持ち、そのキャラクターを創作活動やコミュニケーションに活用することができる「1人1アバター」の世界。私たちのミッションは、その未来をテクノロジーとクリエイティブの力で実現することです。 VRoidは、絵を描くようにキャラクターを作ることができる3Dモデリングソフトウェア「VRoid Studio」から生まれました。現在はこのソフトウェアをはじめとし、手軽にアバターづくりを楽しめるスマートフォンアプリや、3Dモデルを投稿できるプラットフォーム、それと連携するための開発者キット、アバターファッションを世の中に提案するブランド事業など、多方面で展開を行っています。

ブラウザでWebGLが使えるようになって3DCGプログラミングはずいぶん身近なものになりました。と書いてるそばから違和感を感じるくらい生のWebGLをJavaScriptで書くのは敷居が高かったりします。できなくはないけど前提となる知識がかなり必要な感じ。 three.jsが登場したときは、これで普通に3DCGができるということで一気にひろまりました。とはいえ、それでもまだやることは多く、画面に四角い箱を表示する場合以下のようなプログラムを書くことになります。 ・シーンを作成 ・ライトを作成、位置と向きを設定、シーンに追加 ・カメラを作成、位置と向きを設定、シーンに追加 ・マテリアルを作成、色を指定 ・BoxGeometryを作成、サイズを指定 ・メッシュを作成、位置と向きを設定、シーンに追加 ・レンダラーを作成 ・レンダリングループ処理 これらのひとつでも間違えたりパラメーターが適切でな