Prompt工程 中级 15分钟
企业Prompt管理平台
统一管理企业所有Prompt，支持版本控制、A/B测试、效果追踪、权限管理。
LangfusePostgreSQLNext.jsPrismaDocker
项目概述
企业中每个 AI 应用都依赖多个 Prompt。当 Prompt 数量超过 10 个时，管理开始变成一场噩梦：没有版本控制、不知道修改是否有效、不同环境的 Prompt 各自为政。
本案例基于 Langfuse 构建了一套企业 Prompt 管理平台。提供统一的 Prompt 编辑器、版本管理、A/B 测试、效果监控和团队协作功能。
关键指标
200+
管理的 Prompt 数
每月 50+
版本回溯次数
平均 +18%
A/B 测试带来的提升
降低 80%
Prompt 引发的事故
系统架构
Langfuse 作为核心后端，Next.js 前端提供管理界面，PostgreSQL 存储 Prompt 数据和评估结果。
(diagram)
实现细节
1
Prompt 管理
版本管理
每个 Prompt 有完整的版本历史。支持回滚、标签（stable/latest/deprecated）、变更对比。
环境隔离
开发/测试/生产环境的 Prompt 独立管理。生产环境的修改需要审批流程。
变量管理
Prompt 模板支持变量注入。变量定义在平台统一管理，变更时自动通知所有使用该变量的 Prompt。
2
评估与优化
在线评估
每条 Prompt 的输出实时收集用户反馈（赞/踩）。自动关联模型、Token 消耗、延迟等指标。
A/B 测试
对一个 Prompt 的多个版本做流量分配（如 50% v1 + 50% v2），自动对比效果指标。
成本追踪
每个 Prompt 的 Token 消耗和成本按月可视化。异常波动自动告警。
3
团队协作
权限体系
RBAC 权限：管理员（创建/删除/发布）、开发者（编辑/测试）、查看者（只读）。
变更日志
所有操作记录审计日志。谁、在什么时间、修改了什么 Prompt。
通知集成
Prompt 修改、版本 promotion、效果异常自动通过飞书/钉钉/Slack 通知。
Langfuse SDK 集成
from langfuse import Langfuse
langfuse = Langfuse()
prompt = langfuse.get_prompt("customer-reply")
messages = prompt.compile(customer_name="张三", order_id="ORD-001")
response = llm.chat(messages)
langfuse.score(trace_id=trace.id, name="user_satisfaction", value=5)经验教训
- 从第一天就开始做版本管理
- A/B 测试的流量分配需要足够量才能统计显著
- 环境隔离让发布更安全
- Cost tracking 是最受欢迎的功能