MiniMind

MiniMind 是一个从零训练大语言模型的开源项目，由开发者 Jingyao Gong 发起。它想解决的问题很直接：把训练一个语言模型的门槛压到普通人也能动手的程度。最小模型体积只有 GPT-3 的 1/7000，个人显卡就能跑，官方给出的训练成本低到几块钱、耗时以小时计。它交付的不只是一份模型权重，而是一套可以照着走完的流程，适合那些想弄明白大模型内部怎么运作、又被算力预算拦住的开发者。

• 官网入口：https://jingyaogong.github.io/minimind/

训练全流程

• 成本可控：官方给出的参考是 3 元钱、2 小时，完成一次最小规模模型的训练。
• 环节齐全：预训练、监督微调、LoRA 微调直到 RLHF，每个阶段都有对应代码，而不是只丢一个跑通的样例。
• 手写实现：全部代码用 PyTorch 从零重构，不依赖第三方封装库，逐行读下来能对上原理。

模型版本

• 体积很小：最小模型仅为 GPT-3 的 1/7000，显存占用低，适合反复试跑。
• 两条路线：MiniMind2 系列面向常规文本任务，MiniMind-V 则做了多模态扩展。
• 从零起步：不要求先有预训练权重，可以按自己的数据从头训一个模型出来。

配套工具

• 数据脚本：数据集与训练脚本一并放出，省去额外找料的麻烦。
• 评估工具：附带训练与评估工具，方便对照不同阶段的输出效果。
• 框架兼容：支持 llama.cpp、vllm、ollama 等推理与部署框架。

这类开源项目的价值不在于模型本身能答多难的题，而在于把训练过程摊开给你看。想系统接触大语言模型训练、又希望每一步都可复现的人，可以从 MiniMind 入手，走完一次完整流程，感受模型在自己手里从随机权重变成能说话的过程。