1. 首页 > 品牌企业 >

号称中文评测超越GPT-4，百川智能发布超千亿参数大模型Baichuan 3

kjkhf54565 • • 品牌企业 •
1月29日，基础大模型初创公司百川智能宣布发布超千亿参数的大语言模型Baichuan 3。百川智能称，Baichuan 3不仅英文效果达到接近GPT-4的水平，还在多项通用中文任务的表现上实现了对GPT-4的超越。

1月29日，基础大模型初创公司百川智能宣布发布超千亿参数的大语言模型Baichuan 3。百川智能称，Baichuan 3不仅英文效果达到接近GPT-4的水平，还在多项通用中文任务的表现上实现了对GPT-4的超越。

据介绍，与百亿、几百亿级别参数模型训练不同，超千亿参数模型在训练过程中对高质量数据，训练稳定性、训练效率的要求都高出几个量级。为更好解决相关问题，百川智能在训练过程中针对性地提出了“动态数据选择”、“重要度保持”以及“异步CheckPoint存储”等多种创新技术手段及方案，有效提升了Baicuan 3的各项能力。

在高质量数据方面，传统的数据筛选依靠人工定义，通过滤重筛选、质量打分、Textbook筛选等方法过滤数据。而百川智能认为，数据的优化和采样是一个动态过程，应该随着模型本身的训练过程优化，而非单纯依靠人工先验进行数据的采样和筛选。为全面提升数据质量，百川智能设计了一套基于因果采样的动态训练数据选择方案，该方案能够在模型训练过程中动态地选择训练数据，极大提升数据质量。

Baichuan 3还突破“迭代式强化学习”技术，进一步提升了语义理解和生成能力，在诗词创作的格式、韵律、表意等方面表现优异，领先于其他大模型。百川智能表示，在文本创作中，唐诗宋词最具挑战性，其不仅在不仅在格式、平仄、对偶、韵律等方面均有着严格的约束条件，并且内容高度凝练、寓意深远。Baichuan 3结合“RLHF&RLAIF”以及迭代式强化学习的方法，让大模型的诗词创作能力达到全新高度。可用性相比当前业界最好的模型水平提升达500%，文采远超GPT-4。

面向医疗行业，百川智能在模型预训练阶段构建了超过千亿Token的医疗数据集，该数据集涵盖了从理论到实际操作，从基础理论到临床应用等各个方面的医学知识，确保了模型在医疗领域的专业度和知识深度。在对逻辑推理能力及专业性要求极高的MCMLE、MedExam等权威医疗评测上的中文效果同样超过了GPT-4，是医疗能力最强的中文大模型。

记者了解到，百川智能成立于2023年4月，创始人为前搜狗公司CEO王小川。去年10月，百川智能宣布完成A1轮战略融资，投资方包括阿里巴巴、腾讯投资、小米科技等。今年1月初，百川智能还发布了角色大模型Baichuan-NPC。据介绍，Baichuan-NPC深度优化了“角色知识”和“对话能力”，使模型能够更好地理解上下文对话语义，更加符合人物性格地进行对话和行动，让角色栩栩如生。

（来源：电子信息产业网）
智能 模型 中文 发布 百川 Baichuan 上实 超越 参数 初创
免责声明：本文内容来源于第三方或整理自互联网，本站仅提供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
kjkhf54565kjkhf54565

相关推荐