大模型使用心得：提示词、工具、评测与上线实践

这是一篇基于最近项目落地的大模型使用笔记，覆盖提示词策略、工具编排、评测与数据闭环、成本与时延优化以及安全合规。

提示词策略

• 先定义输出Schema，再给少样本示例，最后补容错策略（缺字段填 null）。
• 显式约束模型注意力范围（只关注发票抬头/金额/日期）。
• 将系统提示与任务提示分层，避免单条提示过长。

工具与编排

• 让 LLM 负责决策与路由，将精确解析下沉到正则/AST/规则树。
• 对接检索、结构化解析、调用第三方 API 等工具，使用可观测的中间产物。

评测与数据闭环

• 构建黄金集，覆盖模态、语言与边角案例（低清、旋转、遮挡、多语言混排等）。
• 上线后打通反馈回流，准入/回退/报警齐全。

成本与时延

• 优先尝试小模型并配合强约束，必要时降级/截断/缓存。
• 串并行混合：能并行就并行，必要步骤串行。

安全合规

• 提示词与知识库脱敏；输出走敏感词/PII 过滤；留存审计日志。