はじめまして。フロントエンドエンジニアの田島と申します。 ちょうど今から約１年ほど前に鹿児島にあるアプリファクトリーはるni株式会社というゲーム開発会社様にお声がけいただき、お仕事として企業サイトを制作致しました。 以下のツイートにて、サイト内での操作イメージを短くまとめた動画を添付しています。 サイトの制作方針として、はるni様が制作を得意とする3Dボクセルを中心に据える方針で企画が固まり、技術的にチャレンジングな仕事となりました。その際、私自身多くの方々の技術記事等を参考にさせていただいたため、自分も微力ながら制作の過程で得られた知見を共有できればと思い、記事に残すことにしました。 （ただし、WebGLやThree.jsの扱いに関して未熟な点も多分にあるため、各章でより良いアイデアをお持ちの方はコメント等で温かくご提案いただけますと幸いです。） 技術検証 陰影を事前にベイクするか、リア

「現実を切り取る技術」から新しいコミュニケーションや表現が生まれてくる――フォトグラメトリワールドの"現在"「VoxelKei × 龍 lilea」インタビュー 複数の写真や動画を解析し、3Dモデルを立ち上げる技術「フォトグラメトリ」。 数年前までは高価なソフトが必要になる専門的な技術でしたが、近年では「iPhone 12 Pro」や2020年以降の「iPad Pro」にLiDARという技術が実装されたことでスマホだけでも簡易なフォトグラメトリが行えるようになったことで、一般的な認知度が上がっています。 写真や動画から3Dモデルを生成するため、まるで基底現実を切り取ったかのようなモデルを生成できるこの技術ですが、VRChatをはじめとしたソーシャルVRでは、そのフォトグラメトリに入ることができる「フォトグラメトリワールド」がいくつか存在しています。 埼玉県の小江戸川越をフォトグラメトリした

最近は、メタバースのブームもあり、Unreal Engineを使ったメタバース関連のコンテンツや、ウェブコンフィギュレーターなどのウェブコンテンツの相談が増えています。 ※ここでいう「ウェブコンテンツ」は、専用のアプリのインストールなしに、ウェブブラウザで体験できるコンテンツを指します。 以前は、Unreal EngineからのHTML出力を実験的な機能としてサポートしていたのですが、現在は公式にはサポートしていません(サードパーティーのプラグインなどがある場合はあります)。 しかし、ウェブコンテンツを制作する方法は、大きく分けて3つの方法が考えられます。 Pixel Streaming WebGL Render on Demand この記事では、それぞれの概要やメリット、デメリットを紹介します。 ウェブコンテンツを作る際のヒントになれば幸いです。 ● Pixel Streaming Pi

米AI研究企業OpenAIの研究者らは12月19日（現地時間）、テキストプロンプトから3Dオブジェクトを生成するAIシステム「Point-E」をオープンソース化したと発表した。 同様のシステムとしては米Googleの「DreamFusion」などがあるが、発表論文によると、Point-Eは例えば単体のGPU（米NVIDIAの「V100」）でも3Dモデルを1～2分で生成できるという。 Point-Eは、点群（point cloud）で3Dオブジェクトを生成する。名称の「E」は点群を効率的（Efficiently）に生成することに由来するという。 3D生成は2段階で行われる。まずプロンプトを入力すると、レンダリングされた合成ビューが生成され、次に点群拡散スタックがこの画像を条件付けして3DのRGB点群を生成する。 「この方法は、最先端の他の類似技術よりも性能は劣る」が、DreamFusionの

第230回CVIM研究発表会 チュートリアルでの「深層学習を用いた三次元点群処理入門」のスライド資料です 図などは各論文から引用しています

皆さん！3Dスキャンしてますかーーーーー！? どうもiPhone3Dスキャン大好きおじさんです。今回はiPhoneで始める3Dスキャンというお話をしていこうと思います。 iPad Pro(2020)にLiDARセンサーが搭載されたことで3Dスキャンが誰でも出来る時代が到来しました。 ただいきなりiPhoneやiPadで3Dスキャンができるよ！と言われてもピンとこない方が大半だと思うので、今回のnoteでは簡単な3Dスキャン技術の紹介からスキャンアプリ、スキャン方法などを説明していこうと思います。 3Dスキャンのざっくりとした区分まず3Dスキャンとは何なのかという話ですが、3Dスキャンとは現実にある物体を様々な手法でスキャンし、それをコンピュータ上で再現することだと個人的に思っています(もしかしたら違うかも) 3Dスキャンの方法としては、写真から3Dモデルを作成するフォトグラメトリとレーザー