从 8 个人，到一整片人海
不再靠招募碰运气。按人口结构、行为和心理画像抽样，让每个关键细分都有足够的样本。
[ 00 ]
AIEVAL · SYNTHETIC USER TESTING
系统在线
把你的下一个产品， 先交给 83 亿人 用一遍
01 / PERSONA POOL
8.3B
仿真人 Agent 池
02 / PROFILE
6
画像维度
03 / SCENARIOS
4
测试场景
04 / PROCESS
5
测试流程
[ 01 ]
产品推出前，你不知道
THE BLIND SPOT
产品推出前，你不知道
服务不好的是哪群人
传统测试只能回答“这几个人怎么想”。AIEval 回答的是“哪一类人会怎么想，有多少人会这样想，最差的那一类人是谁”。
从上线后复盘，到上线前看见
在代码合并、素材投放、Agent 上线之前，先看到不同人群在哪一步犹豫、退出或误解。
从平均分，到最差的那个人
平均值会掩盖失败。AIEval 按细分人群拆开结果，把最差的体验、最危险的误解和最大的机会指出来。
[ 02 ]
不是几个预设角色，
PERSONA SPACE
不是几个预设角色，
而是一片可抽样的人海。
每个 AI Persona 都有稳定的人设、记忆和约束。它们不会讨好你，只会按自己的处境做选择。
稳定身份
长期记忆
硬约束
情绪与耐心
设备与渠道
P-0291 / HZIN POOL
林夏29 · 杭州 · 互联网运营
“如果第三步还要填手机号，我会直接关掉。”
适配 · App 新手引导↗
P-0447 / LYIN POOL
陈国栋58 · 洛阳 · 中学教师
“先告诉我你是谁，再让我点同意。”
适配 · 医疗导诊↗
P-0128 / CDIN POOL
周雨桐22 · 成都 · 编导专业
“前三秒不抓人，我就划走了。”
适配 · 短剧与信息流↗
P-0630 / FSIN POOL
王海峰41 · 佛山 · 工厂主管
“便宜可以，但别让我研究半天规则。”
适配 · 支付与订阅↗
P-0084 / SHIN POOL
赵敏35 · 上海 · 新手妈妈
“你说安全没用，我要看到依据。”
适配 · 健康与保险↗
P-0316 / SZIN POOL
李睿31 · 深圳 · 独立开发者
“工具调错了还说完成了？这比不答更糟。”
适配 · Personal Agent↗
P-0192 / CSIN POOL
许一诺19 · 长沙 · 大学生
“课程表都能忘，还敢说记得我？”
适配 · 内容推荐↗
P-0503 / SYIN POOL
孙桂兰67 · 沈阳 · 退休护士
“字这么小，我不是不想用，是看不清。”
适配 · 无障碍与适老↗
画像、匹配分与标签均为示意；83 亿为可组合的人设空间，不是真人样本。
[ 03 ]
有用户的地方，
SCENARIOS
有用户的地方，
就有可以提前跑一遍的
测试。
同一套人群，四种完全不同的战场。
PRODUCT / 应用与产品
从第一次打开，
到第七天还回来。
把新手引导、支付、搜索、推荐和召回交给匹配的 Persona 走一遍。看他们在哪一步犹豫，在哪一句话上失去耐心。
- 新手引导
- 支付与结账
- 搜索与推荐
- 留存与召回
- 无障碍与多语言
任务完成率 · 流失点 · 误操作率 · 推荐理解度
AGENT / 智能体
Agent聪明不重要，
靠得住才重要。
对 Personal Agent、医疗导诊、客服与销售 Agent 做多轮、多任务、带工具调用的压力测试。看它是否真的完成任务，是否守住硬约束。
- Personal Agent
- 医疗导诊
- 客服与销售
- 工具调用
- 多轮记忆
- 安全边界
任务完成率 · 约束遵守率 · 越权与幻觉 · 人工接管率
CONTENT / 内容与增长
在发布之前，
先看内容会不会被划走。
广告素材、短剧前三秒、标题封面、达人脚本。让不同人群在信息流里做真实选择，而不是在会议室里猜。
- 广告素材与落地页
- 短剧与视频
- 标题与封面
- 评论区与转评赞
- 达人脚本
3 秒留存 · 完播率 · 转评赞 · 转化意愿
CONCEPT / 产品概念
在上市之前，
先看这个概念会不会被选择。
让不同人群理解新品概念、比较竞品、判断价格，并做出购买选择。不是会议室里的直觉，而是可拆分的决策分布。
- 新品概念
- 定价与价值感知
- 购买意愿
- 品牌偏好
- 竞品对比
概念吸引力 · 价格接受度 · 购买意愿 · 竞品选择
不在上面？只要用户会做选择，就能被测试。
说说你的场景 →
[ 04 ]
让不同性格、不同需求的人，
CASE 01
让不同性格、不同需求的人，
使用最主流的Personal Agent
CASE 01 · PERSONAL AGENT / RENLAB AIDEV
从“它说完成了”，到“任务真的完成了”。
基于真实交互轨迹，为 Personal Agent 建立了一套可复现的评测协议：把每次会话拆成用户真正想完成的任务，先由规则检查支付、下单、发消息前的同意与工具参数，再由评判模型处理规则无法判断的部分。每一分都带证据等级，每一个指标都附按用户 bootstrap 的 95% 置信区间。
规则先于模型，统计先于结论。
查看完整案例↗
案例由 Renlab AIDev 提供 · 在新窗口打开
01 / CAPABILITIES
8
评测能力
02 / DOMAINS
8
生活领域
03 / CONSTRAINTS
6
硬约束类别
04 / EVIDENCE
5
证据等级
ExecutionSafetyConsistencyMemory
PersonalizationProactivityRetrievalCommunication
每轮抽取 3% 的模型判定做人工复核；一致率低于 80% 的指标会被标注为仅供参考。
[ 05 ]
你出接口和人群画像，
METHOD
你出接口和人群画像，
我们出AI Persona、
测试方案和结论
五步，从一份需求到一套能改进产品的结论。
01 / CONNECT
YOU
API 接入
提供产品 / Agent 的接口、测试环境与调用权限。权限最小化，数据可脱敏。
OUTPUT · 接口与测试环境
02 / SELECT
WE
人群筛选
按目标画像从 83 亿 Persona 中筛选人群，组建虚拟测试样本。
OUTPUT · Persona 样本
03 / DESIGN
WE
方案设计
设计测试场景、任务流程、评价维度与执行规则。
OUTPUT · 测试方案
04 / SIMULATE
WE
模拟测试
Persona 进入产品环境，使用、提问、操作、互动并做出选择。
OUTPUT · 交互记录
05 / ANALYZE
BOTH
报告交付
分析任务表现与交互过程，输出问题清单、优先级与优化建议。
OUTPUT · 结论与建议
aieval — simulation / app-onboarding-v3
RUNNING
00:00:03 sampling 12,480 personas · quota 98.2%
00:00:11 protocol "onboarding" · 42 variants
00:01:47 trace ingest · redaction on · 0 PII leaks
00:03:27 task success 61.8% · constraint violations 4
00:03:28 worst-served segment "silver / low digital fluency" 43.1%
00:04:02 report ready · 18 findings · 3 blockers
示意日志 · 非真实项目数据。
[ 06 ]
一套能用来
REPORT
一套能用来
改进产品的结论
不是一堆热情洋溢的总结。是问题清单、失败现场、证据等级，以及下一步该改什么。
SIMULATION REPORT / RUN-0241
95% CI · n = 12,480
任务完成率
62.0%
95% CI [55.0, 69.0] · n = 12,480
一线城市71.4
新一线64.8
三线及以下52.1
银发43.1
硬约束遵守率
79.0%
6 类硬约束 · 4 次违规
“我已经说了不要辣，它还是推荐了川菜。”
失败现场 · 个性化“第三步要上传身份证，我退出了。”
失败现场 · 新手引导“它说订好了，但订单里没有。”
失败现场 · 任务执行
client_verified
measured
rule_checked
judged
reweighted
报告结构示意 · 数字为占位示例。
分群，不平均
每个关键人群单独拆开；样本不足 30 的分组会被明确标注。
置信区间，不拍脑袋
按用户 bootstrap 的 95% 置信区间，防止重度用户主导结论。
证据等级，可追溯
每个指标附证据构成、原话和失败现场；逐条 CSV 可下载。
交付物
问题清单
失败现场
分群结果
优先级建议
可下载报告
[ 07 ]
ENGAGEMENT
期待从一次试点到长期合作
项目制也好，长期共建也好，边界先说清楚。
01
1–2 周 · 1 个场景
试点规模
试点
验证方法可行性，拿到第一份可执行的报告。
试点规模
02
按季度 · 多场景
持续基准
常态
跟踪每个版本与人群变化，建立自己的体验基准。
持续基准
03
专属知识库 · API 集成
持续测试
共建
把仿真测试接进研发与增长流程，搭一套专属知识库。
持续测试
所有项目默认签署 NDA；数据仅用于本项目。
GET STARTED
预约测试，联系我们
告诉我们你的产品、目标人群，以及现在最想验证的一个问题。我们会给出测试方案与报价。
- 1 个工作日内回复
- 可签 NDA
- 中英文报告
- 可执行优化建议
已收到。我们会联系你。
我们会在 1 个工作日内回复，并附上一份初步测试方案。