苹果公司的研究团队最近在ArXiv上发布了一篇名为《MM1：Methods， Analysis & Insights from Multimodal LLM Pre-training》的论文，介绍了一款名为“MM1”的多模态大模型。该模型提供了30亿、70亿和300亿三种参数规模，并具备图像识别和自然语言推理的能力。
研究重点
苹果研究团队主要利用MM1模型进行实验，通过控制各种变量，寻找影响模型效果的关键因素。他们发现，图像分辨率和标记数量对模型性能影响较大，而视觉语言连接器的影响相对较小。此外，不同类型的预训练数据也对模型性能产生不同程度的影响。
模型构建与性能
在模型构建方面，研究团队首先进行了小规模消融实验，然后利用混合专家架构和名为Top-2 Gating的方法构建了MM1模型。他们称，MM1模型不仅在预训练指标上表现出色，在一系列已有的多模态基准上经过监督微调后，仍能保持竞争力。
性能测试
研究人员对MM1模型进行了测试，结果显示，MM1-3B-Chat和MM1-7B-Chat优于市面上绝大多数相同规模的模型。尤其在VQAv2、TextVQA、ScienceQA、MMBench、MMMU和MathVista等方面表现突出。但整体而言，与谷歌的Gemini和OpenAI的GPT-4V相比，MM1模型的表现略逊一筹。
通过这些发现，苹果的MM1多模态大模型为研究人员提供了新的探索方向和发现空间，也为未来的多模态学习和应用提供了有益的参考。
