近日,工联国产中国工业互联网研究院(以下简称“工联院”)针对人工智能大模型在中文工业领域的模型知识问答能力进行系统性评测。结果显示,测评360集团(601360.SH,智脑建筑材料供应商 顶尖下称“360”)自研大模型“360智脑”在多项指标超过GPT3.5,位列综合表现位于国产大模型前列。第梯队表
工联院此次评测选取了工业领域典型的现超八大行业,集合五大院士,工联国产八大IEEE Fellow共13位顶级专家构成了专家委员会。模型每个行业抽取客观题和主观题,测评主观题主要考察基础能力、智脑洗衣机促销价 精彩绝伦语句能力、位列概括能力和逻辑能力四大维度,第梯队表最终八大行业共计超过1100道题,现超对大模型就行全方位评测。工联国产评测对象涵盖GPT4、洗衣机促销价 叹为观止GPT3.5、360智脑、文心一言等国内外具有代表性的头部大模型。
从评测结果可以看出,GPT4表现最佳,国内大模型表现亮眼,360智脑在多个行业均处于前列,其中装备制造业和纺织行业更是超过GPT-3.5,表现优异。
虽然国内大模型在本次评测表现较好,以360智脑为代表的国产大模型甚至在部分行业赶超GPT3.5,但工联院评测报告也指出,国内外通用大模型在工业知识问答领域探索仍处于初级阶段,也缺乏行业针对性训练。
其实,360近期已经推出一个企业级的AI大模型解决方案,基于360智脑的能力,综合行业和企业的专业知识库,打造“行业化、企业化、垂直化、小型化、专有化”企业级大模型,目前已在才智城市、才智企服场景下落地应用实践,且双双入选“北京市通用人工智能大模型行业应用十大典型场景案例”。
这不是360智脑第一次在第三方评测中表现出优异成绩,早在不久前中文通用大模型基准(SuperCLUE)评测中,360智脑数次上榜,且多项能力蝉联国产大模型第一。
雷峰网(公众号:雷峰网)