村民F_
26-04-14 17:23 微博认证:数码博主

最近在设计一个测试各家AIPC提供的云端AI服务的测试项目,和大家分享一下:

任务的内容很简单:“数据清洗”,我会提供给AI一个Intel核显机型的hwinfo log文件,提供数据处理的严格完整步骤,如图1所示,然后我会用一台AMD+NVIDIA独显机型的log来验证这个脚本是否顺利跑通

看起来很简单是吧,Prompt写的如此详细,大家都能完美通过……吗?
我这里选取了几个非常热门的,国内的网页AI服务来对比

很遗憾,Kimi K2.5 Thinking、DeepSeek(网页版未显示具体模型)、GLM 5 Turbo全部都没有通过,唯一通过这个测试的是Qwen 3.5

各家给出的代码都有哪些问题呢?
首先来说两个不可用的:Kimi和GLM:

Kimi没有使用csv包来读取csv(图2),自作聪明地用逗号分隔,导致部分数据header被分割成多个headers,最终提取到错误的列;
(例如:IA: Electrical Design Point/Other (ICCmax,PL4,SVID,DDR RAPL) [Yes/No])

GLM 5 Turbo数据读取部分也有问题(图3),这样读出来rows[0]的长度是1,里面只有一个值,是csv文件的第一行的字符串,GLM甚至懒得用逗号做进一步分割,我觉得比Kimi还要更蠢;

最后来看DeepSeek,它没有执行Prompt中要求的“命名为XXX”,而是会直接输出hwinfo log中原来的列名(结果如图4),但相比前两位,这个算是可用的。

所以,现在网页版免费AI的水平,还真不一定比笔记本OEM自带的AI助手高到哪里去,趁着OEM还愿意给用户免费提供云端算力和服务,白嫖一下其实也还是是不错的选择。

发布于 上海