内容安全审核：构建负责任的LLM应用
随着 LLM 应用进入生产环境，内容安全审核成为不可忽视的环节。从模型输出的有害内容到用户输入的恶意信息，都需要系统化的检测和拦截机制。本文将从策略、技术、流程三个维度，构建完整的 LLM 内容安全审核体系。
一、内容安全的内涵
1.1 安全风险维度
| 风险类别 | 具体表现 | 危害等级 | 监管要求 |
|---|---|---|---|
| 有害内容 | 暴力、色情、仇恨言论 | 高 | 法律红线 |
| 虚假信息 | 编造事实、误导性建议 | 中高 | 伦理约束 |
| 隐私泄露 | 输出个人信息、商业机密 | 高 | 法律约束 |
| 知识产权 | 抄袭、未授权引用 | 中 | 法律约束 |
| 歧视偏见 | 性别、种族、地域歧视 | 中 | 伦理约束 |
| 危险指导 | 武器制作、违法指导 | 极高 | 法律红线 |
1.2 监管态势
全球 AI 监管进展（2025-2026）:
中国:
- 《生成式人工智能服务管理暂行办法》已实施
- 要求：生成内容不得违法违规
- 措施：备案制 + 安全评估 + 内容审核
欧盟:
- EU AI Act 分阶段实施
- 高风险 AI 系统需进行合规评估
- 罚款：最高全球营收 7%
美国:
- AI 行政令要求安全评估
- 各州陆续推出 AI 监管法案
- 强调：透明度 + 公平性 + 问责制二、审核体系设计
2.1 多层审核架构
输入层 输出层 运营层
┌─────────┐ ┌─────────┐ ┌──────────┐
│ 用户输入 ├──────▶│ LLM 响应├───审核───▶│ 最终输出 │
└────┬────┘ └─────────┘ └──────────┘
│ │ │
▼ ▼ ▼
┌─────────┐ ┌─────────┐ ┌──────────┐
│ 输入审核 │ │ 输出审核 │ │ 人工抽检 │
│ L1 规则 │ │ L1 规则 │ │ 投诉处理 │
│ L2 模型 │ │ L2 模型 │ │ 定期审计 │
│ L3 人工 │ │ L3 人工 │ │ 策略更新 │
└─────────┘ └─────────┘ └──────────┘2.2 审核策略定义
content_safety_policy:
version: "2.0"
last_updated: "2026-05-11"
categories:
# 绝对禁止（Block）
- id: "illegal_content"
name: "违法违规内容"
action: "block"
auto_review: true
human_escalation: false
# 限制输出（Flag + Mask）
- id: "pii_exposure"
name: "个人隐私泄露"
action: "mask"
auto_review: true
human_escalation: true
mask_patterns:
- "[EMAIL]"
- "[PHONE]"
- "[ID_CARD]"
# 警告标记（Flag + Warn）
- id: "potentially_harmful"
name: "潜在有害内容"
action: "flag"
auto_review: true
human_escalation: true
# 免责声明（Warn + Disclaimer）
- id: "medical_advice"
name: "医疗建议"
action: "disclaimer"
disclaimer: "⚠️ 本回复仅供参考，不构成医疗建议。请咨询专业医生。"三、审核技术实现
3.1 规则引擎
import re
from typing import List, Dict
class RuleEngine:
"""
基于规则的内容审核引擎
L1 审核：快速、准确、低误报
"""
def __init__(self):
# 安全规则集
self.rules = self._load_rules()
def _load_rules(self) -> List[Dict]:
return [
# PII 检测
{
'id': 'PII_EMAIL',
'name': '邮箱泄露',
'pattern': r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}',
'action': 'mask',
'severity': 'high'
},
{
'id': 'PII_PHONE',
'name': '手机号泄露',
'pattern': r'1[3-9]\d{9}',
'action': 'mask',
'severity': 'high'
},
{
'id': 'PII_ID_CARD',
'name': '身份证号',
'pattern': r'\d{17}[\dXx]',
'action': 'mask',
'severity': 'critical'
},
# 有害内容
{
'id': 'VIOLENCE',
'name': '暴力内容',
'pattern': r'(?i)(?:杀人|谋杀|爆炸|恐怖袭击|自杀)',
'action': 'block',
'severity': 'critical'
},
{
'id': 'HATE_SPEECH',
'name': '仇恨言论',
'pattern': r'(?i)(?:歧视|种族主义|纳粹|极端)',
'action': 'block',
'severity': 'critical'
},
# 高危指令
{
'id': 'DANGEROUS_INSTRUCTION',
'name': '危险指导',
'pattern': r'(?i)(?:制.?毒|制.?枪|制作.?炸弹|非法获取)',
'action': 'block',
'severity': 'critical'
},
]
def check(self, text: str) -> List[Dict]:
"""执行规则检查"""
findings = []
for rule in self.rules:
matches = re.findall(rule['pattern'], text)
if matches:
findings.append({
'rule_id': rule['id'],
'rule_name': rule['name'],
'action': rule['action'],
'severity': rule['severity'],
'match_count': len(matches),
'positions': [(m.start(), m.end()) for m in
re.finditer(rule['pattern'], text)][:3]
})
return findings3.2 LLM-aided 审核
from openai import OpenAI
class LLMSafetyChecker:
"""
基于 LLM 的语义安全审核
L2 审核：理解上下文，降低误报
"""
SAFETY_PROMPT = """
你是一个内容安全审核员。请分析以下内容的安全性。
审核维度：
1. 暴力/仇恨/色情 ✅/❌
2. 违法违规 ❌（如发现立即阻止）
3. 虚假信息 ❌（重大事实错误）
4. 隐私数据泄露 ✅/⚠️
5. 诱导危害行为 ❌
6. 个人建议（医疗/法律/金融）⚠️
请给出：
1. 总体判定：safe / warning / unsafe
2. 问题类别
3. 置信度 (0-1)
4. 修改建议（如有）
内容：
{content}
"""
def check(self, content: str, context: dict = None) -> dict:
"""使用 LLM 进行内容安全分析"""
prompt = self.SAFETY_PROMPT.format(content=content[:2000])
response = self.client.chat.completions.create(
model="gpt-4o-mini", # 使用专用审核模型
messages=[{"role": "user", "content": prompt}],
temperature=0.0, # 确定性输出
max_tokens=500
)
return self._parse_response(response.choices[0].message.content)
def _parse_response(self, text: str) -> dict:
"""解析审核结果"""
result = {
'verdict': 'safe', # safe / warning / unsafe
'categories': [],
'confidence': 0.0,
'suggestion': ''
}
if 'unsafe' in text.lower():
result['verdict'] = 'unsafe'
elif 'warning' in text.lower():
result['verdict'] = 'warning'
return result3.3 PII 脱敏
import re
from typing import Optional
class PIIDetector:
"""
PII 检测与脱敏
"""
PATTERNS = {
'email': r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}',
'phone_cn': r'1[3-9]\d{9}',
'id_card_cn': r'\d{17}[\dXx]',
'ip_address': r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}',
'api_key': r'(?:sk-|pk-)[a-zA-Z0-9]{20,}',
'bank_card': r'\d{16,19}',
}
MASK_MAP = {
'email': lambda m: m.group()[0] + '***@***' + m.group().split('@')[1][-4:],
'phone_cn': lambda m: m.group()[:3] + '****' + m.group()[-4:],
'id_card_cn': lambda m: m.group()[:4] + '**********' + m.group()[-4:],
'ip_address': lambda m: m.group().split('.')[0] + '.***.***.***',
'api_key': lambda m: m.group()[:6] + '***' + m.group()[-4:],
'bank_card': lambda m: '****' + m.group()[-4:],
}
def mask_pii(self, text: str) -> str:
"""脱敏所有 PII 信息"""
masked = text
findings = []
for pii_type, pattern in self.PATTERNS.items():
matches = list(re.finditer(pattern, masked))
for match in matches:
mask_fn = self.MASK_MAP.get(pii_type, lambda m: '***')
masked = masked[:match.start()] + mask_fn(match) + masked[match.end():]
findings.append({
'type': pii_type,
'position': match.span()
})
return masked, findings四、审核流程设计
4.1 端到端审核流水线
class SafetyPipeline:
"""
内容安全审核流水线
"""
def __init__(self):
self.rule_engine = RuleEngine()
self.llm_checker = LLMSafetyChecker()
self.pii_detector = PIIDetector()
self.human_escalation_queue = []
def process_output(self, content: str, context: dict = None) -> dict:
"""
审核 LLM 输出
返回: 审核后的内容及结果
"""
result = {
'original': content,
'final': content,
'status': 'passed', # passed / masked / blocked / escalated
'findings': [],
'actions': []
}
# Step 1: L1 规则审核（最快）
rule_findings = self.rule_engine.check(content)
for finding in rule_findings:
if finding['action'] == 'block':
result['status'] = 'blocked'
result['findings'].append(finding)
result['actions'].append({
'layer': 'L1',
'action': 'block',
'reason': finding['rule_name']
})
result['final'] = '该内容已被安全策略拦截。'
return result
if finding['action'] == 'mask':
result['actions'].append({
'layer': 'L1',
'action': 'mask',
'reason': finding['rule_name']
})
# Step 2: PII 脱敏
masked_content, pii_findings = self.pii_detector.mask_pii(
result.get('final', content)
)
if pii_findings:
result['final'] = masked_content
result['findings'].extend(pii_findings)
result['actions'].append({
'layer': 'L1.5',
'action': 'mask',
'reason': 'PII detected'
})
result['status'] = 'masked'
# Step 3: L2 LLM 语义审核
if result['status'] in ('passed', 'masked'):
llm_result = self.llm_checker.check(content, context)
if llm_result['verdict'] == 'unsafe':
# 高风险：阻止输出
result['status'] = 'blocked'
result['final'] = '该内容已被安全策略拦截。'
result['actions'].append({
'layer': 'L2',
'action': 'block',
'confidence': llm_result['confidence']
})
elif llm_result['verdict'] == 'warning':
# 中风险：标记 + 人工复审
result['status'] = 'escalated'
escalation_id = len(self.human_escalation_queue)
self.human_escalation_queue.append({
'id': escalation_id,
'content': content,
'context': context,
'llm_result': llm_result,
'timestamp': '2026-05-11T10:00:00Z'
})
result['actions'].append({
'layer': 'L2',
'action': 'escalate',
'escalation_id': escalation_id
})
return result4.2 决策树
LLM 输出内容
│
├── L1 规则检测
│ ├── 命中 "block" 规则 ──→ 直接拦截 ✅
│ ├── 命中 "mask" 规则 ──→ 脱敏后放行 ✅
│ └── 未命中 ──→ 进入 L2
│
├── L2 LLM 审核
│ ├── safe ──→ 正常输出 ✅
│ ├── warning
│ │ ├── 高风险场景 ──→ 人工复审 ⏳
│ │ └── 低风险场景 ──→ 记录日志 + 放行 ✅
│ └── unsafe ──→ 拦截 ✅
│
└── L3 人工抽检
├── 随机抽检 5% 的 "safe" 输出
├── 100% 复审所有 "escalated" 输出
└── 定期更新规则库五、运营与管理
5.1 关键指标
| 指标 | 定义 | 目标 | 预警 |
|---|---|---|---|
| 拦截准确率 | 正确拦截 / 总拦截 | > 99% | < 95% |
| 误报率 | 误拦截 / 总拦截 | < 1% | > 5% |
| 漏报率 | 漏放行有害内容 / 总放行 | < 0.1% | > 0.5% |
| 审核延迟 | L1+L2 审核耗时 | < 200ms | > 500ms |
| 人工复审率 | 需要人工的内容比例 | < 2% | > 5% |
| 策略覆盖率 | 已知威胁模式的覆盖 | > 95% | < 80% |
5.2 告警阈值
critical: 漏放行有害内容 → 立即处理
high: 误报率 > 5% → 30分钟内响应
medium: 审核延迟 > 500ms → 评估性能瓶颈
low: 覆盖率 < 80% → 规划策略更新六、实施建议
6.1 分阶段实施路径
| 阶段 | 内容 | 时间 | 效果 |
|---|---|---|---|
| Phase 1 | 规则引擎 + PII 脱敏 | 2天 | 覆盖 80% 常见威胁 |
| Phase 2 | LLM 语义审核 | 1周 | 覆盖复杂语义攻击 |
| Phase 3 | 人工审核流程 | 2周 | 兜底所有高危内容 |
| Phase 4 | 监控告警 + 持续优化 | 持续 | 自适应安全体系 |
6.2 注意事项
- 避免过度拦截：太多误报会严重影响用户体验
- 理解上下文：“癌症治疗”和”教你做炸弹”需要区分
- 文化差异：不同地区内容安全标准不同
- 模型黑盒限制：LLM 审核本身也可能被攻击
- 人工复审疲劳：自动化优先，人工只处理高危/高不确定性
总结
内容安全审核是负责任的 LLM 应用不可或缺的组成部分。一个完善的审核体系需要：
- 规则引擎兜底：快速拦截明确的有害模式
- 语义审核补充：理解上下文，降低误报
- 人工复审把关：处理边缘案例和高危内容
- 持续运营优化：基于数据不断改进审核策略
安全审核与技术功能同等重要，应该在应用设计之初就纳入考虑，而非事后补救。