11月初,由创新工场董事长兼CEO李开复创办的AI公司“零一万物”正式发布了开源大模型“Yi”。当时,对于为何选择做开源大模型,李开复表示,“零一万物的发展受益于此前开源社区的一些集体智慧,这也让我们有义务去做一些贡献”。
11月14日,针对开源社区Hugging Face提出的“除了两个张量被重命名外,大模型Yi完全使用了 Llama 的架构”一事,零一万物向21世纪经济报道记者回应称,“在大量训练实验过程中,由于实验执行的需要对代码做了更名,我们尊重开源社区的反馈,将代码进行更新,也更好的融入Transformer生态。”
在回应中,零一万物也表示,GPT是一个业内公认的成熟架构,Llama在GPT上做了总结。零一万物研发大模型的结构设计基于GPT成熟结构,借鉴了行业顶尖水平的公开成果,由于大模型技术发展还在非常初期,与行业主流保持一致的结构,更有利于整体的适配与未来的迭代。同时基于零一万物团队对模型和训练的理解做了大量工作,也在持续探索模型结构层面本质上的突破。