眸思大模型

复旦·眸思（MouSi）是复旦大学自然语言处理实验室（FudanNLP）推出的多模态大模型，思路是把视觉识别和语言生成放进同一套框架，让机器看懂画面之后还能用话讲清楚。这类技术最直接的落点，是给视障人士当一双“会说话的眼睛”。它整合了图文匹配、光学字符识别、图像分割等多类视觉任务专家的能力，在多模态对话上的表现因此比单一模型更稳定。

多模态理解能力

• 图文匹配：把画面里的元素和语义对应起来，判断这张图整体在讲什么。
• 文字识别：读取招牌、路牌、票据上的字样，再转成语音读给用户听。
• 图像分割：分清画面中各个物体的边界，避免把背景和主体混成一句描述。
• 语言转述：把识别结果组织成人听得懂的一句话，而不是堆砌一串标签。

日常生活场景

• 街道行走：配合“听见世界”APP的行走模式，提示前方路况与障碍物。
• 自由问答：用户随口问“这是什么”，模型依据当前画面直接作答。
• 物品寻找：寻物模式下帮助判断常用物品所在的大致方位。
• 场景测试：团队用大量特殊样本做训练，并邀请视障人士参与真实情境模拟，验证不同环境下的适配度。

后续研发方向

• AR 定位：计划结合增强现实技术，把室内外定位精度再提一提。
• 视频判断：从单张图片扩展到连续视频流，捕捉动态变化和动作过程。
• 公益合作：拟与 NGO 组织、智障中心及硬件厂商联动，让相关产品和服务免费触达视障群体。

作为一款面向公益的多模态大模型，复旦·眸思把图像转语言这件事做得足够细：既在科研层面验证了多模态融合的可行性，也通过“听见世界”这类公益短片和产品，让技术真正落到视障人士的出行与日常判断里。如果你关注 AI 在无障碍领域的应用，这个站点值得花几分钟看看它当前的进展和开放计划。