人工智能/深度学习

ArchiGAN:公寓建筑设计的生成堆栈

 
GAN-generated masterplan image
图 1 . GAN 生成的总体规划

人工智能很快将在建筑师的日常实践中获得巨大的授权,这种潜力就在眼前,我的工作为概念提供了证明。在我的工作中使用的框架提供了一个讨论的跳板,邀请架构师开始与人工智能接触,数据科学家将架构视为一个研究领域。在这篇文章中,我总结了 2019 年 5 月在哈佛大学提交的 我的论文 的一部分,在那里,生成性对抗性神经网络(或 GANs )被用于设计楼层平面图和整个建筑。

我相信设计概念的统计方法将塑造人工智能在建筑方面的潜力。 这种方法不太确定,而且更具整体性。与其使用机器来优化一组变量,不如依赖它们来提取显著的质量,并在整个设计过程中模仿它们,这是一种范式的转变。

让我们将楼层平面设计分为三个不同的步骤:

  • (I) 建筑占地面积体量
  • (II) 分发程序
  • (III) £家具布局

每一步都对应于一个 Pix2Pix-GAN 模型 ,被训练来执行上述 3 个任务中的一个。通过一个接一个地嵌套这些模型,我创建了一个完整的公寓楼“ 生成堆栈 ”,同时允许用户在每个步骤中输入。此外,通过处理多套公寓的处理,该项目的规模超出了单户住宅的简单性。

除了开发新一代产品线外,这一尝试旨在展示 GAN 在任何设计过程中的潜力,即嵌套 GAN 模型,并允许用户在模型之间输入,我试图实现人与机器之间、纪律直觉与技术创新之间的来回转换。

表现、学习和框架

Pix2Pix 使用条件生成对抗网络( cGAN )来学习从输入图像到输出图像的映射。该网络由两个主要部分组成,发生器和鉴别器。生成器将输入图像转换为输出图像;鉴别器尝试猜测图像是由生成器生成的还是原始图像。网络的两个部分互相挑战,导致输出的质量更高,难以与原始图像区分开来。

我们使用这种能力来学习图像映射,这使得我们的模型可以直接从平面图图像中学习拓扑特征和空间组织。我们通过格式化图像来控制模型学习的信息类型。例如,只要向我们的模型显示地块的形状及其关联的建筑迹线,就可以生成一个能够在给定地块形状的情况下创建典型建筑迹线的模型。

我用了 pix2pix 的 Christopher Hesse 的实现 。他的代码使用了 TensorFlow ,而不是基于 Torch 的 原版 ,它被证明易于部署。我更喜欢 TensorFlow ,因为庞大的用户群和知识库让我有信心在遇到问题时能够轻松找到答案。

我使用 NVIDIA Tesla V100 GPU 运行快速迭代和测试,用于 Google 云平台( GCP )上的培训过程。 GCP 上提供的 NVIDIA GPU 云图深度学习 的简单性允许无缝部署,它为 Pix2Pix ( TensorFlow , Keras 等)安装所有必要的库,并安装在机器的 GPU ( CUDA & cuDNN )上运行此代码的包。我使用的是 TensorFlow 1 . 4 . 1 ,但是有一个新版本的 pix2pix 和 TensorFlow 2 . 0 可用 [here]

图 2 显示了典型培训的结果。这个序列首先花了一天半的时间来训练。最终在 GCP 中的 Tesla V100 上花费了不到 2 个小时,与在本地运行相同的训练相比,它允许更多的测试和迭代。

我们展示了我的一个 GAN 模型是如何逐步学习如何在空间中布置房间和门窗的位置的– 也称为开窗 ——对于图 2 中的序列中给定的公寓单元。

Architectural sequence image
图 2 。公寓建筑序列

虽然最初的尝试被证明是不精确的,但机器在经过 250 次迭代后,建立了某种形式的直觉。

先例

伊索拉等人的早期工作。 2018 年 11 月,他们的模型 Pix2Pix 实现了图像到图像的转换,为我的研究铺平了道路。

郑和黄在 2018 年[3]首先研究了使用 GAN 的平面图分析。作者提出用 GANs 来进行平面图的识别和生成,使用 Pix2PixHD [1] 。由他们的 GAN 架构处理的平面图图像被转换成程序化的色块。相反,他们作品中的色块变成了画室。如果用户指定了洞口和房间的位置,则布置的网络元素将成为家具。同年,内森·彼得斯( nathanpeters )在哈佛大学设计研究生院( Harvard Graduate School of Design )发表的论文 [2] 探讨了在一个家庭住宅占地面积上布置房间的可能性。彼得斯的作品将一个空的脚印变成了程序化的色块,而没有指定的开窗。

关于 GANs 作为设计助理, Nono Martinez 在 2017 年哈佛大学 GSD 的论文 [3] 研究了机器和设计师之间循环的想法,以完善“设计过程”的概念。

堆栈和模型

我在前面描述的先例的基础上创建了一个三步生成堆栈。如图 3 所示,堆栈的每个模型处理工作流的特定任务: (一) 足迹聚集,( II )程序重新划分,( III )家具布局

Generation stack image
图 3 .三个模型中的生成堆栈

架构师能够在每个步骤之间修改或微调模型的输出,从而实现预期的人机交互。

模型一:占地面积

建筑脚印显著地定义了平面图的内部组织。它们的形状很大程度上取决于它们的周围环境,更确切地说,它们包裹的形状。由于住宅建筑足迹的设计可以从其所在土地的形状中推断出来,因此我使用 波士顿市 中的 GIS 数据(地理信息系统)训练了一个模型来生成典型的足迹。在培训期间,我们以适合 Pix2Pix 的格式向网络提供成对的图像,显示原始地块(左图)和绘制了给定建筑的同一地块(右图)。我们在图 4 中显示了一些典型的结果。

Model 1 results image
图 4 。模型一的结果

模式二:程序

模型二处理重新划分和开窗。该网络以模型 I 生产的给定住房单元的占地面积、入口门(绿色正方形)的位置以及用户指定的主窗位置作为输入。用于培训网络的计划来自于 800 多个公寓平面图的数据库,在培训期间对模型进行了适当的注释并成对给出。在输出中,程序使用颜色对房间进行编码,同时使用黑色补丁来表示墙结构及其窗洞。图 5 显示了一些典型的结果。

Model II results image
图 5 。模型 II 的结果

模式三:装修

最后,模型三利用模型二的输出来解决家具布局的挑战。这个模型训练成对的图像,将房间程序的颜色映射到适当的家具布局。在图像转换过程中,该程序保留了墙结构和开窗,同时用每个房间的程序指定的相关家具填充房间。图 6 显示了一些典型的结果。

Model III results image
图 6 。模型 III 的结果

用户界面和体验

我为用户提供了一个简单的界面,每个步骤贯穿我们的管道。在左侧,他们可以输入一组约束和边界,以在右侧生成生成生成的计划。然后,设计器可以迭代地修改左侧的输入,以优化右侧的结果。图 7 中的动画展示了为 ModelII 设置的这种类型的界面和过程。

Figure 7. Model II interface
1Na9YE7HXiR0YlhldRJJ MA 1HL5IIWCrgTnaRX3I63rFpQ
1OUuWZdrCfChTtxRl6CKB g 1cHEAT7qVd gMR0zdjeGsiA

你也可以自己试试这个 interface 。(性能取决于屏幕分辨率/浏览器版本 – 建议使用 Chrome )。

模型链接与公寓生成

在这一部分中,我将 GANs 的应用扩展到整个公寓楼的设计中。该项目使用一种算法将模型 I 、 II 和 III 一个接一个地连接起来,在每一步将多个单元作为单个图像处理。图 8 显示了这个管道。

 

Apartment building generation pipeline image
图 8 。公寓楼发电管道

绘制多个单元的楼层板的挑战标志着单户住宅和公寓建筑的区别。从战略上讲,控制窗户和单元入口位置的能力是确保每套公寓质量的关键。由于模型 II 以门窗位置为输入,因此上述生成堆栈可以缩放到整个楼层板生成。

用户被邀请指定 I 型和 II 型之间的单元分割,换句话说,指定每个楼板如何划分为公寓,并定位每个单元入口门窗以及潜在的垂直循环(楼梯、核心等)。然后,所提出的算法将每个结果单元反馈到模型 II (图 9 中所示的结果),然后将 III (结果如图 10 所示),最终重新组装初始建筑的每个楼板。该算法最终输出为单个图像,生成建筑物的所有楼板。

Model II output image
图 9 。模型 II 输出,每个楼层板的程序
Model III output with furnishing image
图 10 。模型 III 输出,每个独立单元的供应

更进一步

如果使用这种技术可以实现标准公寓的生成,下一步自然是推进模型的边界。 GANs 为解决看似高度受限的问题提供了显著的灵活性。在平面布置的情况下,手工划分和布置空间可能是一个具有挑战性的过程,因为占地面积在尺寸和形状上发生了变化。事实证明,我的模型在适应不断变化的约束的能力上相当“ smart ”,如图 11 所示。

Figure 11. GAN-enabled Space Layout under Morphing Footprint
14ydCrLudDzgM7MGxiizUVA 1y1RfhQ7Mto2GFYzq8luKIA 1K0EjfUpGae HAicHxscefw
13caHYViQ446K8vdGOsZQyw 1P5XR0dzXeuEUab4 YvQuoA 1uV  l88Fd8g60UOhdKVe7g
Figure 11 g Figure 11 h Figure 11 i

控制单元入口门窗位置的能力,加上我的模型的灵活性,使我们能够在更大的范围内处理空间规划,而不仅仅是单个单元的逻辑。在图 12 中,我在研究模型对奇怪的公寓形状和上下文约束的反应时,将管道缩放到整个建筑生成。

GAN-enabled building layouts image
图 12 .启用 GAN 的建筑布局

局限性和未来改进

如果以上结果为 GANs 的架构潜力奠定了前提, 一些明显的局限性将推动未来的进一步研究。

首先,由于公寓单元堆积在多层建筑中,我们目前无法保证承重墙从一层到下一层的连续性。 由于每个单元的所有内部结构布局不同,承重墙 MIG 不会对齐。目前,我们认为外墙是承重的。然而,在模型 II 的输入中指定承重构件位置的能力可能有助于解决这个问题。

此外,下一步自然是通过获得更大的图像来增加输出层的大小,从而提供更好的清晰度。 我们希望部署 NVIDIA 在 2018 年 8 月开发的 Pix2Pix 高清 项目来实现这一目标。我们希望利用 TensorRT 来处理所需的增加的计算能力。

最后,一个主要的挑战来自我们输出的数据格式。像 Pix2Pix 这样的 GANs 只处理像素信息。在我们的管道中产生的图像目前还不能直接被建筑师和设计师使用。 将光栅图像的输出转换为矢量格式是允许上述管道与常用工具和实践集成的关键步骤。

甘斯建筑的未来?

我相信,我们设计正确管道的能力将决定人工智能作为一种新的架构工具集的成功。将这条管道分成几个独立的步骤,最终将允许用户参与其中。我相信他们对机器的控制是设计过程质量和相关性的最终保证。

在更技术层面上,如果 GANs 不能完全创建 fit 设计选项,他们的“直觉”仍然是游戏规则的改变者,尤其是他们的输出可以为标准优化技术提供一个巨大的起点。 通过将 GANs 的结果与优化算法相结合,我认为我们可以从每个世界中得到最好的结果,通过实现 的架构质量和效率。

想了解更多关于这些主题的信息吗? 我最近发表了一系列文章,阐述了人工智能与体系结构相交的前提。 阅读这里的历史背景 在这一重大进化的背后,接下来是人工智能对 平面布置图设计建筑风格分析与生成 的潜力。

参考资料

[1] Hao Zheng , Weixin Huang . 2018 年“ 建筑图纸的机器学习识别与生成。 Cambridge , MA , Acadia 。

[2] Nathan Peters . 2017 。 硕士论文: ” Harvard Graduate School of Design , Cambridge , MA .

[3] 诺诺·马丁内斯。 2016 “人类和人工智能中的暗示绘画” ,哈佛大学设计研究生院,马萨诸塞州剑桥市。

Tags