皇上,还记得我吗?我就是1999年那个Linux伊甸园啊-----24小时滚动更新开源资讯,全年无休!

Google 开源语言模型 Switch Transformer,但不包括权值

Google 开源语言模型 Switch Transformer,但不包括权值Google 开源语言模型 Switch Transformer,但不包括权值
Google Brain 的研究人员开源了他们最新的 AI 语言模型 Switch Transformer,包括 1.6 万亿个参数,相比上一代的 T5 模型,在精度相似的情况下训练时间只要七分之一。但 Google 并没有开源预训练的权值,而权值对于语言模型是至关重要,因此这一开源被认为打了折扣。权值代表 AI 模型模拟的人脑神经元之间的连接强度,需要反复调整到输出结果与正确答案相同。
转自 https://www.solidot.org/story?sid=66962