前两天在一个交流群里有人发了一张截图某个号称接入GPT-4的在线工具回答一道小学数学题时算得离谱。群里有人提醒他“换个测试题验一下”结果那边折腾半天只回了一句“应该是模型还没更新”。这种情况我这两年见得太多了——套壳平台、中转接口、共享Key页面上按钮写着GPT-4背后真正转发到的是什么模型用户根本无从分辨。与其相信平台标注不如自己动手验明真身。我长期用的方法就是三道精心设计的测试题分别从逻辑推理、反常识设定和代码质量三个维度去触发模型的高层能力几分钟之内基本能判断它到底是GPT-4还是GPT-3.5。1. 为什么我靠“三个问题”而不是看模型名称来判断1.1 模型名称从不值得信任先泼一盆冷水你现在打开任何一个声称“GPT-4”的网页、App、API转发服务界面上显示的模型名称都说明不了任何问题。原因很简单——模型名称只是一个字符串它是服务端配置的不是客户端能验证的。市面上存在大量中转站他们从官方API拿额度然后以更低的价格转卖给终端用户。这些中转站完全可以做到你请求时发的是“gpt-4”但他在后端配置里悄悄改成了“gpt-3.5-turbo”只要他的代码没问题你永远看不出来页面上的标识是假的。更常见的情况是共享Key和负载均衡同一个Key背后可能有多个上游渠道高峰期的时候把流量切到便宜的旧模型上对外依然是“GPT-4”。所以我的原则很简单不看牌子上写什么只看它产出什么。模型的行为输出才是唯一的证据。这就跟验货一样包装盒再好看打开尝一口就知道是不是正品。1.2 一套好测试题必须满足的三个条件这些年我在不同场合帮人“验货”前前后后试过几十种题目最后留下的就这三道。它们有一个共同的设计逻辑测推理不测知识测过程不测结果测变体不测原题。测推理不测知识知识性题目比如“法国首都是哪里”会被模型直接背下来不管哪个版本都能答对。推理题要求模型现场做多步骤运算和逻辑判断这个能力很难伪装。测过程不测结果一道题的价值不在最终答案而在于模型给出的推理过程。GPT-4经常会在给出结论前先做条件分析甚至主动指出题目本身的歧义这是GPT-3.5极少出现的行为。测变体不测原题网上流传很广的“鉴别题”比如“母鸡过马路”之类的大概率已经被两个模型都背下来了。要做判断必须把数字、人物、场景全部换掉让模型无法从训练数据里直接检索答案。另外一个容易被忽略的因素是温度参数。API调用时如果temperature设得高模型输出会随机波动同样一道题可能这次答对、下次答错。我建议测试时把temperature设为0关闭随机性这样得到的回答才是模型确定性最高的表现。2. 问题一那个星期几的推理题究竟在考什么2.1 题目与标准推导第一道题是这个如果昨天是明天的话就好了这样今天就周五了。请问今天实际星期几这道题看着短考的东西一点都不少。它本质上是一个时态逻辑题需要你在“实际时间线”和“假设时间线”之间来回切换。先说关键点这道题是有歧义的不同解读会得到不同答案。一种主流解读得到的答案是周三。推理过程如下在假设成立的那个世界里“今天”是周五。如果假设世界里今天是周五那假设世界里的昨天就是周四。题中说“昨天是明天”意思就是真实的“明天”等于假设世界里的“昨天”也就是周四。真实的明天是周四那么真实今天就是周三。另一种解读得到的答案是周日。如果“昨天是明天”理解为“希望昨天赶快过去、明天早点到来”也就是把时间往前提两天那当假设成立时今天变成了周五此时真实的今天应该是在周五的基础上往后退两天也就是周日。两种答案都有人支持这不是重点。重点是模型怎么处理这个歧义。2.2 两种模型在行为上的常见差异我拿这道题测试过很多次GPT-3.5和GPT-4的表现轮廓非常清晰。GPT-3.5的典型表现是看到题目立刻给出一个具体答案最常见的是“周日”或“周五”。其中“周五”这个答案是最典型的错误——它直接把“这样今天就周五了”当成事实来用而忽略了题目问的是“实际今天”。更关键是它几乎不会告诉你这道题存在两种解读。你问它“确定吗”它可能换一个答案但依然不会解释歧义在哪里。GPT-4的表现通常是先指出“这道题在理解上有歧义”然后列出两种不同解读分别说明各自会推出什么结论最后再告诉你如果按常见理解是哪一种。整个过程像在做一个结构化的逻辑分析而不是急着给你一个答案。这个差异背后其实反映了一个很重要的事实GPT-4在处理语言歧义时更倾向于先建立“可能世界”的框架再在这个框架里逐一推演而GPT-3.5更倾向于直接识别问题的表层模式然后从训练数据中匹配一个最像样的答案。2.3 防背诵变体怎么改才能让模型“裸考”原题在网络上传播太广我怀疑两个模型都可能见过。所以真正测试时我从来不发原题而是做变形处理。最简单的变法是换星期。比如把“周五”换成“周二”如果昨天是明天的话就好了这样今天就是周二了。请问今天实际星期几这样一改模型没法从记忆里直接检索“它是周日/周三”必须重新推演。GPT-4依然能列出两种解读而GPT-3.5大概率会直接给出一个没有推导过程的答案。更强的变形是换整个表达结构。比如假设明天变成了昨天那么今天就会是周四。请问真实的今天是星期几这种绕口令式的问法考察本质和原题相同但表述层面完全不同模型只能靠纯逻辑推导来做。测试下来GPT-3.5翻车的概率会明显提高。3. 问题二用“反常识设定”逼模型展示推理过程3.1 题目与背后的“信息类型重解释”第二道题大家可能见过1955原版但我测试时从来不用原版数字。我的版本是有个人出生年份和去世年份都是1947年但他去世时已经80岁。这可能吗请解释。乍一看这题像是一个数学矛盾题——同一年出生、同一年去世年龄怎么可能是80岁但玩过脑筋急转弯的人都知道这里的陷阱在于“1947”未必是年份它也可以是房间号、病房号、军营编号、列车车厢号。比如可以这样解释这个人出生于1947号病房也去世于1947号病房享年80岁。这样一来“1947”和年代没有任何关系矛盾自然消失了。这道题之所以适合用来鉴别模型是因为它考察的是一种非常重要的能力当信息在常识框架下相互冲突时模型能不能主动尝试对这个信息进行类型重解释。换句话说面对矛盾的陈述是死守在默认的“年份”语义里绕圈还是有能力跳出预设框架寻找另外的解释路径。3.2 回答差异与打分思路根据我的测试经验GPT-3.5面对这类题最常见的回复是“这是不可能的因为一个人不可能在同一年出生和去世却活了80年。”它会把问题当作数学逻辑硬伤来处理。如果继续追问“你真觉得不可能吗”它可能会开始编造一些牵强的解释“也许他出生于1947年1月1日去世于1947年12月31日但是……这依然不可能是80岁。”这种回复暴露了一个问题模型知道题目有坑但找不到坑在哪里。GPT-4的表现就明显更有方向。它通常会先承认“如果1947是年份确实矛盾”然后立刻转折“但如果1947不是年份而是房间号、病房号之类的东西那就可以解释了。”有的回答还会主动补充一种更巧妙的设定“假设‘1947年’指的是一个养老院或收容所的编号这个人住在1947号房间一生都在那里度过。”我在实际操作中会按下面这个标准给回答打分表现分数直接说“不可能”不给任何变通解释0分承认矛盾但解释牵强比如生日和忌日夹在年底年初1分主动提出“编号/房间号”等类型重解释并逻辑自洽2分给出多种合理解释并说明哪种最合理3分一般来说得分在2分以下这台服务基本可以判断为GPT-3.5级别。3.3 同类型变体两则这类题的设计核心是“制造语义冲突逼模型重解释”数字可以随便换对象也可以变。我常用的两个变体第一把“人”换成“书”一本书的出版年份是1888年但作者的出生年份也是1888年。这可能吗答案同样是重解释1888可以是版本编号、ISBN编号、印刷厂车间号不一定是年份。模型如果能联想到这一点说明它理解了题目的机制而不是背诵了某个固定的谜语答案。第二把“年份”换成“军衔编号”一名老兵墓碑上刻着“生于1920卒于1920享年91岁。”这可能吗这里“1920”可以理解为公墓的区排编号。这种变体更隐蔽因为墓志铭语境里“1920”确实容易让人默认是年份模型必须非常敏锐才能想到编号解释。4. 问题三代码题的隐藏考点不只是“能跑”4.1 基础题目与考察点第三题是给技术背景读者准备的也是我目前判断力最强的一道题。题目如下写一个Python函数接收一个字符串列表返回所有以元音字母开头且长度大于3的字符串按字符串长度升序排列。请考虑空输入、大小写不一致、列表中混入非字符串元素的情况。如果只看“代码能不能跑”GPT-3.5也能写出来所以这道题的鉴别力不在基础功能而在以下几个隐藏考点大小写处理字符串可能以大写元音开头比如“Apple”模型有没有主动调用lower()做归一化非字符串元素列表里可能混入数字、None模型有没有用isinstance过滤排序稳定性题目要求“按字符串长度升序排列”长度相同的字符串要不要保持原始顺序这需要模型主动意识到Python的sorted是稳定排序。边界输入如果是空列表函数是否直接返回空列表而不是抛异常GPT-3.5给出的代码我经常看到能通过测试用例但完全没有处理非字符串元素或者直接对元素调用了.lower()列表里一旦有数字就会崩。GPT-4的代码则通常会包含类型注解、isinstance过滤、显式的keylambda s: len(s)最后还会附带几个测试用例。4.2 进阶题目内存受限场景基础代码题对GPT-4和GPT-3.5的分辨率已经不错但对更早的模型或某些微调版本可能还是不够。我偶尔会用一道进阶题做交叉验证在内存只有10MB的服务器上需要统计一个5GB文本文件中出现频率最高的前100个单词。请写出你的思路并给出核心代码。这道题没有标准答案考察的是模型能不能想到“流式处理”“分块读取”“Counter 最小堆维护Top100”这些工程手段。GPT-3.5很容易直接写出一个read()读取全部文件内容的代码这在5GB文件外加10MB内存的场景下直接爆掉。GPT-4则通常会说出三点不能一次性读入内存、要按行或按块遍历、用大小为100的最小堆来维护高频词。4.3 打分标准别只看代码能不能运行我遇到不少朋友问我“代码题跑一下不就行了”问题在于这种级别的代码题两个模型写出来都能跑关键在于谁考虑得更完整。所以我做了一张简单的打分表评分项说明分数功能正确性主要功能是否实现、排序是否正确0-2分边界处理是否处理大小写、非字符串、空输入0-2分测试用例与解释是否主动附测试用例、是否说明复杂度0-2分工程意识是否有类型注解、是否使用稳定的排序方式0-1分总分4分以上更像是GPT-4的表现低于3分大概率是GPT-3.5或者更基础的模型。这当然不是绝对标准但拿来当快速过滤条件已经够用了。5. 这套测试法的边界、反例和提升可靠性的技巧5.1 四个会让测试结果失灵的常见原因这套方法我在实际使用中成功率不低但绝不是万能的。以下几个风险必须说清楚。第一模型本身在进化。GPT-3.5的某些最新版本可能已经加入了大量推理数据逻辑能力比以前强了一截。反过来GPT-4的某些蒸馏版或轻量版表现也可能低于预期。所以这套测试更适合在“某个平台宣称自己是GPT-4”时做快速抽检而不是作为学术论文级别的模型鉴定标准。第二温度参数会干扰结果。前面提过temperature设太高同一个提示词每次的输出都不一样可能这次碰到正确答案下次就答偏了。一定要在可控环境下测试。第三原题被背熟。任何在网上流传超过半年的“鉴别题”大概率都进了训练语料。直接发原题等于开卷考试GPT-3.5也能把答案背出来。所以我前面才反复强调变体测试。第四对话历史会给模型“递消息”。如果你在提问之前先来了一句“你是GPT-4对吧”然后才抛测试题模型会因为输入中的身份暗示而调整回答风格。测试时尽量用干净的会话不要夹带预设。5.2 我常用的完整测试流程如果你想复现这套方法我建议按下面的流程操作新开一个会话不发送任何系统提示词和身份设定。如果是API调用把temperature设为0max_tokens设置得足够长至少500。三道题分开问不要一次性全部提交避免前一题的推理逻辑影响后一题。不要只看最终答案重点观察有没有“指出歧义”“主动追问”“补充边界条件”这类行为。如果某个回答让你犹豫把题目换一个变体重测一遍。两次都糊基本可以断定不是GPT-4。我见过有人只测一道题就下结论这种做法误伤率很高。三道题组合判断任何一道出现明显的高水平推理特征这台服务就值得继续观察三道题全部像背诵答案那就基本不用抱太大希望。5.3 最后的经验之谈在前几个版本的模型之间反复横跳测来测去我发现所谓“验明真身”其实测的不是模型记住了多少东西而是它面对未知和矛盾时的思维习惯。一个模型在歧义面前是停下来反问还是硬着头皮给答案在矛盾面前是固守预设还是主动换解释路径在工程题上是写完核心逻辑就收手还是会想边界、补测试、谈复杂度——这些习惯才是GPT-4和GPT-3.5之间最稳定的分野。以后你再遇到哪个平台说自己跑的是GPT-4不用去翻官方文档把第一道题的“周五”换成“周二”把第二道题的“1947”换成别的编号把第三道题的列表里塞一个None进去几分钟之内它到底有几斤几两其实藏不住。