Janus-Pro

Janus-Pro 是 DeepSeek 开源的多模态大模型，目标是让同一个模型既能看懂图片，又能按文字描述生成图片。它把多模态理解与生成放进统一框架处理，通过调整训练策略、扩充数据和模型规模，让两类任务都不拖后腿。做多模态研究的人可以直接跑代码看结构，需要文字转图的创作和教学场景也能拿来试手。

• 项目主页：https://github.com/deepseek-ai/Janus

模型架构

• 解耦视觉编码：理解和生成各走一套视觉编码方案，生成侧用独立的自回归变换器，减少两条路线互相干扰。
• 统一主干结构：编码虽然分开，整体仍是一套 Transformer，改动和扩展都更省事。
• 多模态输入：图像、文本、音频都能作为输入，图像分辨率目前支持到 384×384。

性能表现

• 理解基准：Janus-Pro-7B 在 MMBench 上得 79.2 分，高于 MetaMorph、TokenFlow-XL 这类统一模型。
• 生成准确率：GenEval 准确率 80%，DPG-Bench 拿到 84.19 分，压过 DALL-E3 和 Stable Diffusion 3 中文版。
• 图像质感：画面细节较足、真实感强，对文字语义的还原比较到位。

训练数据

• 三阶段训练：先做图像与特征对齐，再用高质量数据预训练，最后进入微调。
• 数据扩充：新增约 9000 万张图像，理解和生成两类任务共用。
• 合成美学数据：另外引入约 7200 万张合成美学数据，专门用于视觉生成。

适用场景

• 艺术创作：按文本生成图像，给设计师和艺术家做创意草图、视觉方案。
• 教学辅助：生成教学材料和模拟场景，省去一部分素材搜集时间。
• 文化传播：把文字描述转成配图，帮读者理解文化背景。

项目采用 MIT 许可，允许商业使用，也预留了继续接入点云、脑电等模态的空间，这在同类开源多模态大模型中并不多见。短板同样清楚——图像分辨率停在 384×384，后续版本大概率会在这上面做文章。关注多模态理解与生成走向的人值得持续跟一跟，想直接上手，从上面的项目主页取代码即可。