百川智能最近发布了具有超千亿参数的大语言模型Baichuan 3,标志着其在人工智能领域的重大突破。Baichuan 3在多项权威的通用能力评测中,尤其是中文任务,展现了超越GPT-4的卓越性能。同时,在数学和代码生成领域,Baichuan 3同样表现出色,证明了其在自然语言处理和代码生成领域的强大能力。
在医疗领域,Baichuan 3的中文效果同样超过了GPT-4,成为中文医疗任务表现最佳的大模型。其成功应用于多项医疗评测,包括MCMLE、MedExam和CMExam等,显示了其在医疗领域的专业性和逻辑推理能力。此外,Baichuan 3还引入了创新技术“迭代式强化学习”,在诗词创作等艺术领域的格式、韵律和表意方面也取得了显著优势。
为应对超千亿参数模型的挑战,百川智能在模型训练中引入了多种创新技术,包括动态数据选择、重要度保持和异步CheckPoint存储等,有效提高了Baichuan 3的训练稳定性和效率。特别是在高质量数据的获取和处理方面,百川智能采用了基于因果采样的动态训练数据选择方案,极大地提升了数据质量。
Baichuan 3不仅在英文任务中表现接近GPT-4水平,其在中文任务上的卓越表现更是代表了中国人工智能技术的一个重要进展。这个模型的全面性和在复杂应用场景中的强大表现,预示着百川智能在AI领域将继续推动创新和技术应用。