GANpaint：基于神经元的人工智能绘画工具
栏目分类：趣味工具 发布日期：2020-11-25 浏览次数：次
网站名称：GANpaint
所属国家：美国
网站地址：http://gandissect.res.ibm.com/ganpaint.html
网站介绍：
GANpaint是一款非常神奇的绘图工具，可以任意重绘DEMO建筑物照片，由美国麻省理工学院人工智能实验室发布，该工具使用深层网络绘制对象级控件，每一笔都能机会GAN中的一组神经元。
解锁GAN的隐藏原理才能控制GAN，图片里面的草，木，云，天，穹顶，砖瓦，房门等等，每个元素都对应GAN的其中一组神经元。只要激活某一组神经元，抑制其他神经元，就可以有选择地生成想要的元素。每次激活不同的神经元，相当于把GAN肢解 (Dissect) 开来，让人一点一点去领会;团队还提出了一个分析框架(Analytical Framework) ，把肢解过程可视化。
GANpaint实现步骤：
首先，把跟某个物体 (比如树) 相关的、可解释的GAN单元 (Interpretable GAN Units) 挑出来。通俗说来就是根据特征图，找到哪些神经元对应哪个物体。
然后，衡量这些单元对物体的影响力有多强，量化出来。也就是说，不只是相关 (Correlated) ，神经元要能控制物体的变化，才有用。
最终，考察这些单元与背景之间的上下文关系(Contextual Relationship) 。研究要在一幅图里生成某种物体，怎样才能不突兀。
生成对抗网络(GAN)近期在很多现实世界任务中取得了巨大成就，很多 GAN 的变体都在样本质量和训练稳定性上获得了很大的进展。然而，对 GAN 的可视化和理解仍然是缺乏探究的课题。在 MIT CSAIL 主导的这项工作中，研究者展示了在单元、对象和场景级别上可视化和理解 GAN 的框架。研究者首先通过基于分割的网络剖析方法(network dissection method)识别出一组和对象概念很相关的可解释单元。然后通过评估人类干预(控制输出中的对象)的能力来量化可解释单元的因果效应。最后，通过将发现的对象概念嵌入到新图像中来测试这些单元和周围事物之间的语境关系。
