OpenAI 是 Elon Musk 创立的人工智能初创公司,支持流行的 DALL-E 文本到图像生成器,周二宣布发布其最新的图片制作机器 POINT-E,它可以直接从文本提示生成 3D 点云。现有系统(如 Google 的 DreamFusion)通常需要数小时和 GPU 来生成图像,而 Point-E 只需要一个 GPU 和一两分钟。

Abstract smokey wave vector background. Nano dynamic flow with 3d particles

3D 建模用于各种行业和应用程序。现代电影大片、视频游戏、VR 和 AR 的 CGI 效果、NASA 的月球陨石坑测绘任务、Google 的遗址保护项目以及 Meta 的 Metaverse 愿景都取决于 3D 建模功能。然而,创建逼真的 3D 图像仍然是一个耗费资源和时间的过程,尽管 NVIDIA 致力于自动化对象生成和 Epic Game 的 RealityCapture 移动应用程序,它允许任何拥有 iOS 手机的人将现实世界的对象扫描为 3D 图像。

文本到图像系统,如 OpenAI 的 DALL-E 2 和 Craiyon、DeepAI、Prisma Lab 的 Lensa 或 HuggingFace 的 Stable Diffusion,近年来迅速流行、臭名昭著和声名狼藉。Text-to-3D 是该研究的一个分支。与类似系统不同,Point-E“利用大量(文本、图像)对语料库,使其能够遵循多样化和复杂的提示,而我们的图像到 3D 模型是在较小的(图像、3D)数据集上训练的对,”由 Alex Nichol 领导的 OpenAI 研究团队在 Point·E 中写道:从复杂提示生成 3D 点云的系统, 上周发布。“为了根据文本提示生成 3D 对象,我们首先使用文本到图像模型对图像进行采样,然后根据采样图像对 3D 对象进行采样。这两个步骤都可以在几秒钟内完成,并且不需要昂贵的优化程序。”

如果您要输入文本提示,比如“一只猫在吃墨西哥卷饼”,Point-E 将首先生成该吃墨西哥卷饼的猫的合成视图 3D 渲染。然后,它将通过一系列扩散模型运行生成的图像,以创建初始图像的 3D、RGB 点云——首先生成粗略的 1,024 点云模型,然后生成更精细的 4,096 点云模型。“在实践中,我们假设图像包含来自文本的相关信息,并且没有明确地限制文本上的点云,”研究团队指出。

这些扩散模型分别在“数百万”个 3d 模型上进行训练,所有模型都转换为标准化格式。“虽然我们的方法在这种评估中的表现比最先进的技术差,”该团队承认,“它在一小部分时间内产生了样本。” 如果您想亲自尝试一下,OpenAI 已在 Github 上发布了该项目的开源代码。

0个人收藏 收藏

评论交流

泪雪默认头像 请「登录」后参与评论
  1. 加载中..

相关推荐

  • 3D 建模 3D modeling

    3D建模是什么

    3D建模是生成任何对象或图像的三维 (3D) 数字表示的过程。3D建模改变了人们看待产品设计项目的方式。3D建模使人们对最终产品的视觉感知有所增强。
  • Obj file obj 文件

    obj是什么格式的文件

    obj是一种3D格式的文件,可以直接用写字板打开进行查看和编辑修改,obj文件是Wavefront公司为它的一套基于工作站的3D建模和动画软件"Advanced Visualizer"开发的一种文件格式,这种格式同样也以通过Maya读写。
  • iPhone camera

    3D深感摄像头是什么意思

    通过3D深感摄像头,在手机上多用于人脸识别和体感控制。通过3D深感摄像头,手机可以为用户进行人脸3D建模,并以此作为数据秘钥来实现安全验证,通过3D建模,手机能够在拍照、体验游戏时捕捉用户动态信息,以此实现各种拍照、游戏交互。
  • SketchUp

    SketchUp是什么

    SketchUp是一套面向建筑师、城市规划专家、制片人、游戏开发者以及相关专业人员的3D建模程序。比其他三维CAD程序更直观,灵活以及易于使用。 基于便于使用的理念,它拥有一个非常简单的界面。
  • Ultimaker Cura Software 3D Printing

    常用的 3D 打印软件有哪些

    3D打印软件提供从建模到雕刻到定制的许多不同功能,从建模到渲染,再到用户概念和展示。常用的软件有:3D Slash、TinkerCAD、FreeCAD、SketchUP;NetFabb、Repetier等。
  • Build 3D Printing

    3D 打印如何工作

    3D打印的程序本质上是2D(二维)打印,只不过需要在2D打印的基础上一遍又一遍地打印、一层又一层地叠加,直至一件3D产品最终成型。而采用3D打印需要先进行建模和切片,最后传送给3D打印机完成打印工作。