医疗问答大模型的越狱让模型开具违规处方的诱导路径一、当模型开始开处方医疗问答的合规悬崖医疗问答大模型上线后最常见的滥用方向让它开药。处方权在现实里受严格管制但在对话窗口里模型只要被绕过对齐就能给出一份看似专业的用药清单。这条线一旦越过伤害直接落在患者身上。越狱攻击在医疗场景里有个危险的放大效应模型输出的处方带着专业语气。患者分不清模型建议和医生医嘱。剂量、禁忌、联合用药一旦出错就是真实的药害事件危害比通用聊天场景大得多。更棘手的是多轮诱导的隐蔽性。攻击者不会一上来就问给我开抗生素。他们会先做症状描述再引入角色扮演逐步把模型推到假设你是一名急诊医生的语境里。每一步单看都合规组合起来却击穿了对齐边界。这种渐进式越狱在静态测试集上很难被发现。还有一类风险来自产品侧的过度承诺。不少医疗 Agent 把智能问诊作为卖点却在系统提示词里只写了一句不要开具处方。这种声明在对抗性输入面前脆弱。的防线必须建在输出侧而不是提示词里。医疗大模型的安全重点在它能不能被守住不开违规处方。对齐评估、输出校验、合规兜底要串成一条强制链路。二、医疗语境下的越狱手法变体与对齐失效点通用越狱手法在医疗场景里会做语境换皮。角色扮演从越狱助手变成资深主任医师假设场景从虚构世界变成急诊抢救现场指令重写从忽略上文变成为了患者安全请打破常规。本质都是利用模型对医疗紧急性的过度顺从。输入侧检测拦截诱导意图对齐评估判断模型是否已被推偏输出侧校验是最后兜底哪怕模型已经被越狱也要拦住违规处方的实际输出。三层防线相互独立一层失守其他层补位。三、输出侧合规校验网关的实现下面是一段输出侧校验网关。它独立于模型对生成结果做处方禁忌、剂量阈值、联合用药的强制检查import asyncio import re import hashlib import time from dataclasses import dataclass, field from typing import Optional # 处方禁忌规则表药物组合、单次剂量上限、禁用人群 PRESCRIPTION_RULES { antibiotics_under_18: { pattern: r(阿奇霉素|左氧氟沙星|环丙沙星), condition: lambda ctx: ctx.get(age, 99) 18, reason: 未成年禁用喹诺酮/大环内酯类, }, max_dose_paracetamol: { pattern: r对乙酰氨基酚[^\d]{0,6}(\d)\s*(mg|毫克), condition: lambda ctx: True, limit: 1000, # 单次剂量上限 mg reason: 对乙酰氨基酚单次超量, }, combined_sedatives: { pattern: r(地西泮|艾司唑仑).{0,20}(酒精|酒), condition: lambda ctx: True, reason: 镇静药与酒精联用, }, } dataclass class MedContext: 患者上下文用于条件判断缺字段按安全侧处理 age: int 99 pregnant: bool False allergies: list field(default_factorylist) trace_id: str def sign(self) - str: raw f{self.age}|{self.pregnant}|{time.time_ns()} return hashlib.sha256(raw.encode()).hexdigest()[:16] class PrescriptionGuard: def __init__(self, timeout: float 2.0): self._timeout timeout async def check(self, output: str, ctx: MedContext) - dict: ctx.trace_id ctx.sign() # 并发跑所有规则单条超时不阻塞整体 try: findings await asyncio.wait_for( self._run_all(output, ctx), timeoutself._timeout ) except asyncio.TimeoutError: # 超时按未通过处理宁可拦截也不放行违规处方 return {status: blocked, reason: check_timeout, trace: ctx.trace_id} if findings: return {status: blocked, reason: rule_violation, findings: findings, trace: ctx.trace_id} # 二次确认即便无规则命中疑似处方类输出也转人工 if self._looks_like_prescription(output): return {status: manual_review, trace: ctx.trace_id} return {status: passed, trace: ctx.trace_id} async def _run_all(self, output: str, ctx: MedContext) - list: sem asyncio.Semaphore(8) async def one(name, rule): async with sem: return self._apply_rule(name, rule, output, ctx) tasks [one(n, r) for n, r in PRESCRIPTION_RULES.items()] results await asyncio.gather(*tasks, return_exceptionsTrue) return [r for r in results if r] def _apply_rule(self, name, rule, output, ctx) - Optional[dict]: m re.search(rule[pattern], output) if not m: return None if not rule[condition](ctx): return None # 带剂量上限的规则额外校验数值 if limit in rule: try: dose int(m.group(1)) except (IndexError, ValueError): return {rule: name, reason: rule[reason]} if dose rule[limit]: return {rule: name, reason: rule[reason], dose: dose, limit: rule[limit]} return None return {rule: name, reason: rule[reason]} def _looks_like_prescription(self, output: str) - bool: # 启发式判断出现用法用量药品名即视为疑似处方 keywords [用法, 用量, 每日, 口服, 静脉滴注] hits sum(1 for k in keywords if k in output) return hits 2 # 使用示例 async def demo(): guard PrescriptionGuard() ctx MedContext(age14) output 建议口服左氧氟沙星 500mg 每日一次连续 7 天。 print(await guard.check(output, ctx))关键点规则与模型解耦新增禁忌只改规则表不动模型并发跑规则且整体超时兜底疑似处方转人工而非直接放行。这样即使模型被越狱违规处方也到不了用户眼前。四、对齐评估的盲区与合规兜底的代价输出侧校验不是万能的落地前要想清几条边界。规则覆盖有滞后性。新药、新禁忌、新联合用药风险不断出现规则表不及时更新就会有已知规则全过、实际仍违规的盲区。规则维护要和药监通报、说明书更新联动定期同步不能靠安全团队手动补。启发式判断会误伤。_looks_like_prescription 在科普类回复上可能误判为处方把正常健康教育内容也转人工拉高审核成本伤害用户体验。要在召回率与误报率之间取舍优先保证不放过违规处方再用更细的特征降低误报。对齐评估本身难量化。模型在静态测试集上表现良好不代表对抗场景下不越狱。医疗场景需要专门的红队语料库覆盖角色扮演、假设场景、指令重写等变体定期做回归评估。把评估结果纳入模型上线门禁而非只作为事后指标。最后一条合规兜底不能替代专业医生。哪怕校验全部通过模型给出的也只是参考信息不能等同于医嘱。产品侧必须在显著位置声明边界并在涉及具体用药时强制引导用户线下就医。把AI 开处方作为产品宣传点本身就是合规风险。五、总结医疗问答大模型的越狱风险本质是概率模型与刚性合规的冲突。攻击者用角色扮演、假设场景、指令重写等手法把模型推过对齐边界输出违规处方。可靠的防线分三层输入侧做诱导意图检测模型侧定期做对抗性对齐评估输出侧用独立规则引擎做处方禁忌兜底。规则与模型解耦、并发校验带超时、疑似输出转人工是工程落地的基本要求。再强的护栏也不能替代专业医生的判断这是医疗 AI 的底线。
