紫东太初

紫东太初是中国科学院自动化研究所与武汉人工智能研究院联合推出的多模态大模型，也是全球首个千亿参数三模态大模型，主要围绕图像、文本和语音三类数据展开。它承担的任务不止于聊天，多轮问答、文本创作、图像生成、3D理解、信号分析都在覆盖范围内，图像、语音、文本之间还能相互转换与生成。对于需要同时处理文字、画面和语音素材的用户来说，这是一个可以直接在网页上试用的跨模态通用人工智能平台。

模态覆盖范围

• 三模态统一：图像、文本、语音在同一模型内完成统一表示，模态之间可相互生成。
• 全模态扩展：除图像、文本、语音之外，还接入视频、信号、3D点云等数据。
• 跨模态理解：既能理解单一模态内容，也能处理跨模态之间的关联与对应关系。

平台能做什么

• 多轮问答：支持连续对话，围绕同一话题逐步追问，适合需要来回确认的场景。
• 文本创作：用于撰写、续写和润色文字内容，与问答能力在同一入口调用。
• 图像生成：根据文字描述产出图像，文本与画面之间可以互相转化。
• 3D与信号：面向三维点云理解、信号分析等偏专业方向的处理任务。

技术底座

• 昇思框架：基于昇思MindSpore框架构建，训练与运行都依托这一国产深度学习框架。
• 自监督学习：采用自监督学习方法贯通不同模态数据之间的关系，减少对标注数据的依赖。
• 多任务泛化：具备较强的多任务泛化能力，可迁移到多个不同领域的任务中。

从实际使用角度看，紫东太初大模型开放服务平台把认知、理解、创作三类能力放进同一套界面，用户不必在多个工具之间来回切换，就能完成多轮问答、文本创作、图像生成这些常见需求，也能接触到3D理解、信号分析这类平时不太容易上手的任务。作为一个面向通用人工智能方向的多模态大模型，它更适合对跨模态能力感兴趣、想亲手试一试的研究者、开发者和内容创作者。