1、主要贡献

        1）用TFS的方式对齐大规模的视觉编码器与LLM

        2）noisy数据用于对比学习，高质量数据用于生成式学习

2、模型结构

        1）视觉编码器：Intern ViT - 6B

                -> 参数规模大大扩增

                -> 在参数量相同的情况下，model depth、head dimension、MLP ratio对速度和准确率的影响不大

        2）语言中介：QLLaMA - 8B

                -> 在LLaMA-7B基础上新增96个可学习的queries和1B参数的cross-attention层

                -> 即便LLM decoder固定，InternVL也可以在多模态对话任务上表现良好

3、训练

        1）数据

​​​

        2）阶段

                a）stage1：vision-language contrastive training

                        -> noisy image-text pairs on the web

                        -> LLaMA编码文本特征，InternViT编码图像特征

                        -> similarity score的symmetric cross-entropy loss

                        -> 同时更新LLaMA和InternViT的参数

                b）stage2：vision-language generative training

                        -> high-quality caption, VQA

                        -> image-text contrastive (ITC) loss, image-text matching (ITM) loss, image-grounded text generation (ITG) loss

                        -> 固定LLaMA和InternViT的参数，只训练新增的learnable queries和cross-attention层的参数

                c）stage3：supervised fine-tuning

                        -> multi-modal dialogue datasets

                        -> 用MLP层与LLM decoder相连

                        -> 仅训练MLP层（with QLLaMA）即可获得鲁棒的结果

4、应用

        1）visual perception

                image（H x W x 3） -> feature map（H/14 x W/14 x D）

        2）contrastive tasks

                InternViT（with QLLaMA）编码图像特征，QLLaMA编码文本特征

        3）generative tasks

                InternViT编码的图像特征作为QLLaMA的前置文本特征，用于文本生成

        4）multi-modal dialogue

                InternViT（with QLLaMA）编码图像特征，输入LLM