发现商业评论 旗下
洞察商业 启迪未来

创新之作!微软发布Orca 2语言模型,性能超越同尺寸模型

   时间:2023-11-22 09:59 来源:发现者网

【发现者网】11月22日消息,微软研究院最近发布了一份新闻稿,正式推出了一款名为Orca 2 LLM的语言模型,该模型相较于当前主流语言模型更为精简,但仍然能够回答一些复杂问题。

Orca 2分为两个版本,分别包含70亿和130亿个参数,其中部分参数融合了Llama 2 LLM。通过整合定制的高质量合成数据,该模型能够提供更为准确和优质的合成数据,为用户带来更出色的体验。

据发现者网了解,Orca 2在训练过程中采用了扩展的、高度定制的合成数据集。该模型支持多种推理技术,包括分步处理、回忆然后生成、回忆-原因-生成、提取-生成和直接回答等多种任务处理策略。

与Llama 2和WizardLM等大型语言模型相比,Orca 2在痛苦理解、常识推理、多步推理、数学问题解决和阅读理解等方面表现更为出色。微软表示,初步研究结果显示,Orca 2的性能明显优于类似尺寸的模型,并且在推理能力方面达到了与至少大10倍模型相似或更好的水平,展现了为较小模型赋予更强推理能力的潜力。

 
 
更多>同类内容
全站最新
热门内容