小米公司官方微博宣布,小米大语言模型 MiLM 已通过大模型备案,未来将逐步应用于小米汽车、手机、智能家居等产品,并将面向更多用户开放体验。去年 8 月,MiLM 大模型首次出现在 C-Eval 和 CMMLU 大模型评测榜单中,在 C-Eval 总榜单中排名第 10、同参数量级排名第 1。
根据 GitHub 项目页面的信息,MiLM-6B 是由小米公司开发的大规模预训练语言模型,参数规模达 64 亿。在 C-Eval 的评测中,MiLM-6B 在 STEM 领域的 20 个科目中,计量师、物理、化学、生物等多个项目上获得了较高的准确率。
虽然 MiLM-6B 在大多数文科科目中表现良好,但在法学、数学、编程、概率论、离散数学等抽象思维科目中仍有提升空间。在 10 个社会科学测试科目中,除教育学和地理外,其他 8 个科目均取得了理想的准确率。人文科学领域的 11 个科目中,该模型在历史与法律方面表现尤为突出。