← ALL DEPLOYMENTS
DEPLOYMENT / 01FINANCE / MODEL

Intent Model Factory.

让高混淆金融意图,变成可验证的模型能力。

SYSTEM / A WORKING LOGICSCHEMATIC — 按简历归纳
01TAXONOMY
02DATA / QC
03BASE ↔ LoRA
04FROZEN TEST

01 / CONTEXT

金融对话里的细微差别,决定下一条业务路径。

项目面向金融客服高混淆意图场景。Robin 的金融工作经历还涉及 46 个业务大类、1000+ 业务小类的长对话分类;本案例的实验结果仅对应简历单独描述的 8 个高混淆 Intent 子场景,不代表全量业务表现。

02 / REALITY

难点存在于类别的边界。

样本设计需要覆盖清晰表达、相似意图、困难负例、类似语音识别转写的表达,以及边界样本。项目用 clean / hard positive / hard negative / ASR-like / boundary 区分这些情况。

03 / PROBLEM

如何判断微调改善的是能力,而不是一次偶然结果?

需要先明确 Scene-Intent Taxonomy、样本质量和测试边界,再对 Base 与 LoRA 做可比较的实验。否则,不同数据口径与随机种子的变化会影响对结果的解释。

04 / SYSTEM

把数据质量与模型对照放进同一条链路。

设计 Scene-Intent Taxonomy,构建分类型样本,引入 QC 与人工复核,再以 Frozen Test 和多 Seed 对照验证 Base / LoRA。这里的图示按简历归纳流程,不代表实际部署拓扑。

05 / MY ROLE

设计数据与评测体系。

围绕高混淆意图设计分类体系、样本结构、质量检查和人工复核机制,建立冻结测试与多随机种子对照机制。职责按简历描述呈现,不扩展为整个客户系统的独立交付。

06 / TECHNOLOGY

让技术服务于可比较的实验。

LoRA 用于模型微调;Taxonomy 用于约束意图定义;Frozen Test 与多 Seed 实验用于效果验证。简历未注明本项目的基座模型、参数规模、训练硬件或线上服务架构。

  • LoRA
  • Taxonomy
  • Frozen Test
  • Multi-seed Evaluation

07 / EVALUATION

8 个高混淆子场景,三随机种子对照。

简历记录 Base vs. LoRA 三随机种子实验中的 Macro-F1 从 72.06% 提升到 79.84%,相差 7.78 个百分点。原始逐 Seed 数值、置信区间和测试集规模未提供,因此不推断显著性或更大范围的提升。

BASE / MACRO-F172.06%
LoRA / MACRO-F179.84%

8 个高混淆 Intent 子场景 · 三随机种子实验 · +7.78 个百分点

08 / OUTCOME

一个有明确实验边界的改进。

形成从数据治理、样本复核到模型对照评测的闭环,并在所述 8 个子场景中观察到 Macro-F1 改善。简历未提供上线状态、客户收益或生产环境指标。

SOURCE / Robin Huang 个人简历。未提供的数据、上线状态与技术细节不作推断。

NEXT / DEPLOYMENT 02Evidence to Assessment↗
NEXT / A CONVERSATIONSHANGHAI, CHINA

LET’S BUILD
SOMETHING REAL.

从一个真实问题开始。
Enterprise AI · FDE · Collaboration