皇上,还记得我吗?我就是1999年那个Linux伊甸园啊-----24小时滚动更新开源资讯,全年无休!

阿里巴巴开源其大语言模型通义千问

阿里巴巴开源其大语言模型通义千问 阿里巴巴开源其大语言模型通义千问

阿里巴巴在今年四月宣布了它的大语言模型通义千问(Tongyi Qianwen 或简写 Qwen)。现在它宣布开源有 70 亿参数的 Qwen-7B 系列模型,源代码托管在 GitHub 上,采用被称为 Tongyi Qianwen LICENSE AGREEMENT 的许可证,有限制条件,如果商业使用,月活用户数超过 1 亿,则需要从阿里巴巴获得授权。这一条件与 Meta 对其 LLaMA 2 大模型的限制类似。阿里巴巴称,Qwen-7B是基于 Transformer 的大语言模型, 在 2.2 万亿 token 的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。相比同规模的开源模型,Qwen-7B 在多个评测数据集上具有显著优势,甚至超出 12-13B 等更大规模的模型。评测评估的能力范围包括自然语言理解与生成、数学运算解题、代码生成等。
https://github.com/QwenLM/Qwen-7B/blob/main/README_CN.md