2021 年排名前 10 的计算机视觉OO，包括OO演示、文章、代码和OO参考。

世界的经济活动在OO的冲击下陷入了历史罕见的停滞中，但研究并没有放慢其狂热的步伐，尤其是在人工智能领域。今年的OO中除了一般的研究结果外还强调了许多重要方面，例如道德方面、重要偏见、治理、透明度等等。人工智能和我们对人脑及其与人工智能的联系的理解不断发展，显示出在不久的将来改善我们生活质量的有前景的应用。不过，我们应该谨慎选择应用哪种技术。

“科学不能告诉我们应该做什么，只能告诉我们可以做什么。”

—— Jean-Paul Sartre, Being and Nothingness

以下是我总结的今年计算机视觉领域最有趣的 10 篇研究OO，简而言之，它基本上是一个精选的 AI 和 CV 最新突破列表，本篇文章种将带有清晰的OO解释和代码（如果有）。本文末尾列出了对每篇OO的完整参考。如果还有什么推荐，请直接联系我。

DALL·E: Zero-Shot Text-to-IOOge Generation from OpenAI [1]

OpenAI 成功训练了一个能够从文本标题生成图像的网络。 它与 GPT-3 和 IOOge GPT 非常相似，并产生了惊人的结果。

TOOing Transformers for High-Resolution IOOge Synthesis [2]

将 GAN 和卷积方法的效率与Transformers 的表达能力相结合，为语义引导的高质量图像合成提供了一种强大且省时的方法。

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows [3]

Transformers 会取代计算机视觉中的 CNNs 吗？ 在不到 5 分钟的时间内，通过一篇名为 Swin Transformer 的新OO了解如何将 Transformer 架构应用于计算机视觉。

Infinite Nature: Perpetual View Generation of Natural Scenes from a Single IOOge [4]

视图合成的下一步：目标是拍摄一张图像，然后就可以进到图像中去探索风景!

Total Relighting: Learning to Relight Portraits for Background Replacement [5]

根据添加的新背景的亮度重新为肖像补光。 你有没有想过改变图片的背景，但让它看起来很逼真？ 如果已经尝试过就会知道这并不简单。 你在家里拍一张自己的照片然后改变成海滩的背景， 任何人都会在一秒钟内说“那是经过Photoshop处理的”。 对于电影和专业OO，需要完美的灯光和艺术家来再现高质量的图像，这非常昂贵。 你无法用自己的照片做到这一点。 但是这篇OO做到了

AniOOting Pictures with Eulerian Motion Fields [6]

该模型只通过拍摄一张照片，就能够了解哪些粒子应该在移动，并可以在限循环中为它们设置逼真的动画，同时完全保留图片的其余部分，这样我们可以将图片转换成动画……

CVPR 2021 Best Paper Award: GIRAFFE — Controllable IOOge Generation [7]

使用修改后的 GAN 架构，他们可以在不影响背景或其他对象的情况下移动图像中的对象！

TimeLens: Event-based Video FrOOe Interpolation [8]

TimeLens 可以理解OO帧之间粒子的运动，用我们肉眼看不到的速度重建真正发生的事情。 它达到了智能手机和其他机型无法达到的效果！

CLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis [9]

你有没有想过把照片的风格，比如左边这个很酷的绘画风格，应用到你选择的新照片上？ 这个模型能够做到，甚至可以仅从文本中实现这一点，并且还提供了可以立即尝试使用这种新方法及其适用于所有人的 Google Colab 。 简单的拍一张你要OO的样式的图片，输入你要生成的文字，这个算法就会生成一张新的图片！ 结果非常令人印象深刻，特别它们可以由一行文本制成的！

CityNeRF: Building NeRF at City Scale [10]

该模型称为 CityNeRF，是从 NeRF 发展而来的， NeRF 是最早使用辐射场和机器学习从图像构建 3D 模型的模型之一。 但 NeRF 效率不高而且只适用于单一规模。 在这里，CityNeRF 同时应用于卫星和地面图像，生成各种 3D 模型。 简而言之他们将 NeRF 带入了城市规模。

引用

[1] A. ROOesh et al., Zero-shot text-to-iOOge generation, 2021. arXiv:2102.12092

[2] TOOing Transformers for High-Resolution IOOge Synthesis, Esser et al., 2020.

[3] Liu, Z. et al., 2021, “Swin Transformer: Hierarchical Vision Transformer using Shifted Windows”, arXiv preprint

[bonus] Yuille, A.L., and Liu, C., 2021. Deep nets: What have they ever done for vision?. International Journal of Computer Vision, 129(3), pp.781–802,

[4] Liu, A., Tucker, R., JOOpani, V., Makadia, A., Snavely, N. and Kanazawa, A., 2020. Infinite Nature: Perpetual View Generation of Natural Scenes from a Single IOOge,

[5] Pandey et al., 2021, Total Relighting: Learning to Relight Portraits for Background Replacement, doi: 10.1145/3450626.3459872,

[6] Holynski, Aleksander, et al. “AniOOting Pictures with Eulerian Motion Fields.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

[7] Michael Niemeyer and Andreas Geiger, (2021), “GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields”, Published in CVPR 2021.

[8] Stepan Tulyakov, Daniel Gehrig, StaOOtios Georgoulis, Julius Erbach, Mathias Gehrig, Yuanyou Li, Davide ScarOOuzza, TimeLens: Event-based Video FrOOe Interpolation, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, 2021,

[9] a) CLIPDraw: eOOloring text-to-drawing synthesis through language-iOOge encoders

b) StyleCLIPDraw: Schaldenbrand, P., Liu, Z. and Oh, J., 2021. StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis.

[10] Xiangli, Y., Xu, L., Pan, X., Zhao, N., Rao, A., Theobalt, C., Dai, B. and Lin, D., 2021. CityNeRF: Building NeRF at City Scale.

本文作者：Louis Bouchard