万字深度好文视觉-语言VL智能任务表征学习和大型模型qq最新资讯展现技术的辉煌与挑战

qq最新资讯丨编译：Jocelyn 编辑：陈彩娴

本文对视觉-语言（VL）智能的发展进行了全面的调研，总结为三个阶段：

第一个阶段是2014-2018年，专门模型被设计用于不同的任务。第二个时代是2019-2021年，此时神经网络模型通过使用高质量标签的VL数据集进行预训练，学习到视觉和语言的联合表征。第三个阶段从2021年的CLIP开始，以大规模弱标签数据集上预训练VL模型，并获得基于零样本或少样本的性能强大的视觉模型。

我们相信这篇综述将帮助AI和ML研究人员，以及特别关注计算机视觉和自然语言处理的人。

论文地址：https://arxiv.org/pdf/2203.01922.pdf

研究背景

计算机视觉(CV)和自然语言处理(NLP)是人工智能(AI)的两个重要分支，它们致力于模拟人类在视觉和语言上的智能。在过去十年里，由于深度学习的大幅进步，这两个领域都取得了显著成果。GPU技术的快速发展与大量数据集的出现，为深度学习模型的大规模训练提供了可能。

神经网络也取得了巨大进展，其中卷积神经网络(CNN)与循环神经网络(RNN)尤其突出。CNN推动了2D图像识别，而RNN则解决了序列数据建模的问题。此外，Transformer利用注意力机制进一步提升了NLP领域。

虽然单模态技术取得重大成就，但现实问题往往涉及多模态，如自动驾驶车辆需要同时处理命令、交通信号以及道路状况等信息。这促使研究者探索单模态如何受益于多模态学习。

感知对于理解物质世界至关重要，也是许多常识基础。而演讲比纯文本包含更多信息，因此多模式感知在各类任务中都有助益。

随着深度学习技术不断进步，我们看到越来越复杂功能强大的神经网络出现，如AlexNet、VGGNet、GoogleNet和ResNet；而Transformer则改变了NLP领域。

解决特定任务中的挑战推动了解决这些挑战的手段，即跨学科领域迎来了新时代。在这个时代，不仅仅依赖特定的图像说明系统，还能直接从大型数据库中提取知识，从而提高系统性能。

最后，我们希望这份综述能够帮助读者更好地理解当前VL域内最新研究成果，并为未来的工作提供参考。