本文聚焦于昆仑万维在3月18日正式开源首款工业界多模态思维链推理模型Skywork R1V这一重要事件。介绍了该模型的定义、在推理和视觉理解能力方面的表现,还阐述了模型所拥有的三项关键技术创新。
在科技领域不断革新的今天,3月18日传来一则重磅消息。昆仑万维在这一天正式开源了首款工业界多模态思维链推理模型,命名为Skywork R1V。这一举措意义非凡,昆仑万维也因此成为中国第一个开源「多模态推理模型」的企业。从即日起,该开源模型的权重和技术报告都可供相关人士研究和使用。
若你想要下载模型权重,可以通过以下途径:Hugging Face:https://huggingface.co/Skywork/Skywork-R1V-38B ;GitHub:https://github.com/SkyworkAI/Skywork-R1V ,这里还有详细技术报告可供查看。
那么,什么是视觉推理模型呢?视觉推理模型是一类能够解决需要思维链(Chain – of – Thought)的视觉任务的模型。它的工作原理是对视觉信息进行多步逻辑推理与分析,一步一步地推导出最终结果。这种模型不仅关注图像内容的识别与理解,更强调通过层层递进的推理路径,精准求解复杂的视觉问题。比如在视觉逻辑推理、视觉数学问题、图像中的科学现象分析以及医学影像的诊断推理等领域都能发挥重要作用。
在性能表现上,Skywork R1V堪称出色。在 Reasoning 推理能力方面,它实现了模型顶尖的逻辑推理与数学分析能力。在权威的 MATH500 和 AIME 基准测试中,Skywork R1V 分别取得了 94.0 和 72.0 分的优异成绩。而在 Vision 视觉理解能力方面,Skywork R1V 成功地将其文本推理与思维链推导能力迁移到了视觉任务中。在 MMMU 与 MathVista 等视觉推理基准中,它分别取得了 69 和 67.5 分。
昆仑万维表示,Skywork R1V 模型拥有三项关键技术创新,下面为大家详细介绍:
一是文本推理能力的多模态高效迁移。昆仑万维团队首次提出利用 Skywork – VL 的视觉投影器,在无需重新训练语言模型和视觉编码器的情况下,就能够将文本推理能力高效迁移到视觉任务中,并且还保留了原本优秀的推理文本能力(AIME 72.0,MATH500 94.0)。
二是多模态混合式训练(Iterative SFT GRPO)。通过结合迭代监督微调(Iterative SFT)和 GRPO 强化学习,分阶段对齐视觉 – 文本表征,实现跨模态任务的高效融合。这一创新极大提升了跨模态任务的表现,推动模型在 MMMU 基准达到 69 分的能力,同时在 MathVista 达到 67.5 分,与更大规模的闭源模型基本持平。而且通过反复迭代地利用高质量数据与高难度数据的组合,实现了模型持续的知识巩固与错误纠正,显著提升了多模态推理的精度与泛化性能。 (▲多模态混合式训练(来源:Skywork R1V 技术报告))
三是自适应长度思维链蒸馏。团队提出了一种基于视觉 – 文本复杂度的自适应推理链长度控制机制,动态优化模型推理过程,避免模型“过度思考”,提升推理效率。结合多阶段自蒸馏策略,进一步提升了数据生成与推理过程的质量,促进了模型在复杂多模态任务中的表现。(▲自适应长度思维链蒸馏(来源:Skywork R1V 技术报告))
昆仑万维在3月18日开源首款工业界多模态思维链推理模型Skywork R1V,成为中国首个开源「多模态推理模型」的企业。介绍了该模型的相关定义、在推理和视觉理解能力上的优异表现,重点阐述了其三项关键技术创新,这些创新使得模型在多模态推理任务中具备高精度和高效性,有望推动多模态推理领域的进一步发展。
原创文章,作者:甜雅mio,如若转载,请注明出处:https://www.xiaoyaoxin.com/archives/837.html