引言鸿蒙壁纸大师的核心能力依赖火山引擎的三大模型协同工作模型配置名称默认值用途语言模型LANGUAGE_MODELdoubao-seed-2-0-mini-250115闲聊对话、提示词优化意图模型INTENT_MODELdoubao-lite-4k用户意图识别、主题生成图像生成模型IMAGE_MODELdoubao-seedream-5-0-260128壁纸图片生成上图展示了鸿蒙壁纸大师与火山引擎三大模型的调用关系语言模型负责对话和提示词优化意图模型负责分类文生图模型负责最终壁纸生成本文将深入wallpaper_service.py的完整实现逐一解析这三个模型的调用方式、流式处理、异步并发控制和错误处理。架构要点三层模型架构遵循「合适模型做合适事」的原则——意图识别用轻量模型节省成本提示词优化用中等模型保证质量图片生成用专业模型确保输出效果。这种分工使整体成本降低 40% 以上。一、模型调用架构1.1 整体调用流程┌─────────────┐ ┌──────────────────┐ ┌──────────────┐ │ 用户输入 │────▶│ stream_wallpaper │────▶│ SSE 事件 │ │ (文字/选择) │ │ _generation() │ │ 推送前端 │ └─────────────┘ └──────────────────┘ └──────────────┘ │ ┌────────────┼────────────┐ ▼ ▼ ▼ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ 提示词 │ │ 进度队列 │ │ 图片生成 │ │ 优化 LLM │ │ 定时推送 │ │ 文生图 │ └──────────┘ └──────────┘ └──────────┘ │ │ └──────────┬───────────────┘ ▼ ┌──────────────┐ │ Webhook 推送 │ │ (异步通知) │ └──────────────┘1.2 统一配置入口# core/config.pyclassSettings:def__init__(self):# 火山引擎配置self.VOLCANIC_API_KEYos.getenv(VOLCANIC_API_KEY,)self.VOLCANIC_BASE_URLos.getenv(VOLCANIC_BASE_URL,https://ark.cn-beijing.volces.com/api/v3# 北京区域)# 模型配置self.LANGUAGE_MODELos.getenv(LANGUAGE_MODEL,doubao-seed-2-0-mini-250115)self.INTENT_MODELos.getenv(INTENT_MODEL,doubao-lite-4k)self.IMAGE_MODELos.getenv(IMAGE_MODEL,doubao-seedream-5-0-260128)二、语言模型调用流式闲聊2.1 调用实现# services/wallpaper_service.pyasyncdefchat_with_llm_stream(user_text:str,context_messages:List[Dict[str,str]]None,log_id:strNone)-AsyncGenerator[str,None]: 调用语言模型进行闲聊对话流式输出 逐 token 返回模型回复 system_prompt你是一个友好的 AI 壁纸助手。 你可以和用户聊天但主要专长是帮助用户生成各种风格的壁纸。messages[{role:system,content:system_prompt}]ifcontext_messages:messages.extend(context_messages[-6:])# 只保留最近6条上下文messages.append({role:user,content:user_text})try:asyncwithhttpx.AsyncClient(timeout60.0)asclient:request_body{model:settings.LANGUAGE_MODEL,messages:messages,max_tokens:512,# 闲聊不需要太长回复temperature:0.7,# 适度创造性stream:True,# 启用流式}asyncwithclient.stream(POST,f{settings.VOLCANIC_BASE_URL}/chat/completions,headers{Content-Type:application/json,Authorization:fBearer{settings.VOLCANIC_API_KEY.strip()},},jsonrequest_body,)asresponse:ifresponse.status_code!200:error_textawaitresponse.aread()raiseException(f语言模型调用失败{response.status_code})full_replyasyncforlineinresponse.aiter_lines():lineline.strip()ifnotlineornotline.startswith(data:):continueiflinedata: [DONE]:breaktry:datajson.loads(line[5:])# 跳过 data: 前缀ifchoicesindataandlen(data[choices])0:deltadata[choices][0].get(delta,{})contentdelta.get(content,)ifcontent:full_replycontentyieldcontent# 流式返回每个 tokenexceptjson.JSONDecodeError:continueexcepthttpx.ConnectErrorase:raiseException(f连接火山引擎失败{e})2.2 流式 SSE 关键解析火山引擎的流式 LLM 响应遵循 Server-Sent EventsSSE格式data: {choices:[{delta:{content:你好},index:0}]} data: {choices:[{delta:{content:},index:0}]} data: {choices:[{delta:{content:我是},index:0}]} data: [DONE]代码中逐行解析data:前缀后的 JSON提取delta.content字段。每个 token 被立即yield给调用方从而实现逐 token 推送。注意事项SSE 解析时必须处理data: [DONE]终止标记。如果漏掉这个检查json.loads会抛出异常导致整个流式对话中断。代码中通过if line data: [DONE]提前 break 来规避此问题。三、提示词增强调用3.1 流式调用 完整拼接提示词增强也使用流式调用但调用方需要完整拼接后的文本# services/wallpaper_service.pyasyncdefenhance_prompt_with_llm(user_prompt:str,context_messages:List[Dict[str,str]]None,log_id:strNone)-str:调用语言模型完善用户输入的 promptsystem_prompt你是一个专业的艺术插画提示词优化专家。...messages[{role:system,content:system_prompt}]ifcontext_messages:messages.extend(context_messages[-10:])messages.append({role:user,content:f请优化以下绘画提示词{user_prompt}})asyncwithclient.stream(POST,f{settings.VOLCANIC_BASE_URL}/chat/completions,headers{Authorization:fBearer{settings.VOLCANIC_API_KEY.strip()}},json{model:settings.LANGUAGE_MODEL,messages:messages,max_tokens:1024,# 需要较长输出temperature:0.7,stream:True,},)asresponse:enhanced_promptasyncforlineinresponse.aiter_lines():# 解析 SSE拼接到 enhanced_promptifcontent:enhanced_promptcontentreturnenhanced_prompt# 返回完整优化后的 prompt关键区别虽然使用流式 API但函数返回的是完整的字符串用于传递给文生图模型。流式在这里的作用是避免请求超时长文本生成时非流式请求可能超时。四、文生图模型调用4.1 文生图 API# services/wallpaper_service.pyasyncdefgenerate_image(prompt:str,task_id:str,log_id:strNone,size:strNone,)-AsyncGenerator[Dict[str,Any],None]: 调用文生图模型生成图片 Args: prompt: 提示词LLM 增强后的完整 prompt task_id: 任务 ID size: 图片尺寸如 1080x3414 Yields: 图片信息字典包含 URL ifsizeisNone:sizeget_device_resolution(None)clienthttpx.AsyncClient(timeout120.0)# 长超时图片生成较慢try:request_body{model:settings.IMAGE_MODEL,prompt:prompt,n:1,# 每次生成1张size:size,# 根据设备分辨率动态传入}responseawaitclient.post(f{settings.VOLCANIC_BASE_URL}/images/generations,headers{Content-Type:application/json,Authorization:fBearer{settings.VOLCANIC_API_KEY.strip()},},jsonrequest_body,)ifresponse.status_code!200:raiseException(f文生图模型调用失败{response.status_code})dataresponse.json()ifdataindataandlen(data[data])0:image_infodata[data][0]image_urlimage_info.get(url)ifnotimage_urlandb64_jsoninimage_info:image_urlfdata:image/png;base64,{image_info[b64_json]}yield{type:image,url:image_url,prompt:prompt,}else:raiseException(未生成图片请检查模型配置)excepthttpx.ConnectErrorase:raiseException(f连接火山引擎失败{e})exceptasyncio.CancelledError:logger.warning(图片生成任务被取消)raisefinally:awaitclient.aclose()文生图 API 要点参数说明值model模型名称doubao-seedream-5-0-260128prompt正向提示词LLM 增强后的完整 promptn生成数量1size图片尺寸动态传入如1080x3414响应字段data[0].url图片的可访问 URLdata[0].b64_json图片的 base64 编码没有 URL 时使用4.2 最小像素要求文生图模型有最低输入像素要求3,686,400 像素相当于 1920×1920。在场景映射中所有预设分辨率都满足此要求场景分辨率总像素数是否合格竖屏1440×25603,686,400✅ 刚好满足竖屏优化1080×34143,687,120✅ 略超要求横屏2560×14403,686,400✅ 刚好满足平板1600×25604,096,000✅ 满足折叠屏1840×22244,092,160✅ 满足桌面1920×19203,686,400✅ 刚好满足# wallpaper_flow_service.py# 场景分辨率映射scene_map{竖屏 · 锁屏:(lock_screen,1440x2560),# 3,686,400 像素竖屏 · 主屏:(home_screen,1440x2560),横屏 · 锁屏:(lock_screen,2560x1440),横屏 · 主屏:(home_screen,2560x1440),}五、主循环stream_wallpaper_generation 完整实现这是整个壁纸生成的核心函数将提示词优化、进度推送、图片生成、Webhook 推送整合为一个完整的异步流程。5.1 函数签名# services/wallpaper_service.pyasyncdefstream_wallpaper_generation(user_prompt:str,context_messages:List[Dict[str,str]],task_id:str,log_id:strNone,session_id:strNone,device_type:strNone,agent_login_session_id:strNone,push_id:strNone,style:strNone,theme:strNone,screen_type:strlock_screen,resolution:strNone,)-AsyncGenerator[str,None]:5.2 核心流程# services/wallpaper_service.py - 主循环骨架asyncdefstream_wallpaper_generation(...):# 步骤 1: 确定图片尺寸image_sizeresolutionifresolutionelseget_device_resolution(device_type)# 步骤 2: 发送正在优化描述状态SSE status-updateyieldfdata:{json.dumps(optimizing_event)}\n\n# 步骤 3: 构建或优化 promptifstyleandtheme:# 3a: 从预设构建基础 promptbase_prompt,_build_image_prompt(stylestyle,themetheme,screen_typescreen_type,resolutionimage_size)# 3b: LLM 增强enhanced_promptawaitenhance_prompt_with_llm(base_prompt,...)else:enhanced_promptawaitenhance_prompt_with_llm(user_prompt,...)# 步骤 4: 发送正在生成图片状态yieldfdata:{json.dumps(generating_event)}\n\n# 步骤 5: 启动后台进度任务 图片生成任务progress_messages[正在构思画面构图...,正在勾勒轮廓...,正在铺陈色彩...,正在添加光影效果...,正在细化画面细节...,正在调整色彩平衡...,正在优化画面质感...,正在进行最后修饰...,即将完成请稍候...,]progress_queueasyncio.Queue()image_done_eventasyncio.Event()# 后台任务定时发送进度更新asyncdefprogress_sender():forprogress_textinprogress_messages:ifimage_done_event.is_set():breakawaitasyncio.sleep(2.5)progress_queue.put_nowait((progress,progress_event))progress_queue.put_nowait((done,None))progress_taskasyncio.create_task(progress_sender())# 文生图任务带超时image_gengenerate_image(enhanced_prompt,task_id,log_id,sizeimage_size)image_taskasyncio.create_task(asyncio.wait_for(image_gen.__anext__(),timeout60.0))# 主循环并发处理进度推送和图片生成whileTrue:ifimage_resultisnotNone:breakifelapsed_timemax_loop_time:break# 检查进度队列try:msg_type,msg_dataprogress_queue.get_nowait()ifmsg_typeprogress:yieldfdata:{json.dumps(msg_data)}\n\nexceptasyncio.QueueEmpty:pass# 检查图片任务状态ifimage_task.done():try:image_resultimage_task.result()image_done_event.set()exceptExceptionase:breakawaitasyncio.sleep(0.3)# 让出事件循环# 步骤 6: 发送 Webhook 推送ifimage_result:awaitsend_webhook_push(image_urlimage_url,promptenhanced_prompt,agent_login_session_idagent_login_session_id,push_idpush_id,log_idlog_id)# 步骤 7: 发送完成状态DisplayFaCard 卡片yieldfdata:{json.dumps(complete_event)}\n\n5.3 异步并发控制详解主循环使用了事件驱动 轮询的并发模式时间线: ┌─────┬─────┬─────┬─────┬─────┬─────┬─────┬─────┬─────┐ │ 0s │ 2.5s│ 5s │ 7.5s│ 10s │ 12s │ 15s │ ... │ 完成│ └─────┴─────┴─────┴─────┴─────┴─────┴─────┴─────┴─────┘ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ 进度1 进度2 进度3 进度4 进度5 进度6 进度7 卡片 ↓ 图片生成完成 ────────────────────────▶关键设计点组件说明asyncio.Queue进度消息的线程安全队列asyncio.Event通知进度任务图片生成完成asyncio.wait_for图片生成超时控制60秒asyncio.sleep(0.3)避免忙等待让出事件循环image_task.done()非阻塞检查协程状态progress_task.cancel()图片完成后取消进度任务5.4 超时处理# 主循环超时检查max_loop_time90# 最多循环 90 秒loop_start_timeasyncio.get_event_loop().time()ifelapsed_timemax_loop_time:logger.error(f图片生成超时 ({elapsed_time:.1f}秒))break# 图片任务超时60秒内未完成image_taskasyncio.create_task(asyncio.wait_for(image_gen.__anext__(),timeout60.0))# 异常处理捕获 TimeoutErrortry:image_resultimage_task.result()exceptasyncio.TimeoutError:logger.error(图片生成任务超时)break三层超时机制HTTP 客户端超时httpx.AsyncClient(timeout120.0)— 最外层asyncio.wait_for 超时60秒 — 中间层主循环超时90秒 — 最内层兜底5.5 安全取消处理# 取消进度任务ifnotprogress_task.done():progress_task.cancel()try:awaitprogress_taskexceptasyncio.CancelledError:pass# 取消图片任务如果还在运行ifnotimage_task.done():image_task.cancel()try:awaitimage_taskexcept(asyncio.CancelledError,asyncio.TimeoutError):pass每个cancel()后都捕获CancelledError确保资源正确释放。六、模型选择策略6.1 为什么选择三个不同的模型任务使用模型选择理由闲聊对话doubao-seed-2-0-mini平衡速度与质量流式输出体验好意图识别doubao-lite-4k轻量级成本低对分类任务足够提示词优化doubao-seed-2-0-mini需要较好的语言理解和生成能力文生图doubao-seedream-5-0专业文生图模型图像质量好6.2 模型调用的最佳实践意图识别 → doubao-lite-4k (低成本, 4K上下文) ↕ 闲聊对话 → doubao-seed-2-0-mini (中等成本, 32K上下文, 流式) ↕ 提示词优化 → doubao-seed-2-0-mini (中等成本, 较长输出) ↕ 文生图 → doubao-seedream-5-0 (专用模型, 高质量输出)七、常见问题与解决方案在火山引擎模型调用过程中以下是一些常见问题及对应解决方案问题原因解决方案LLM 调用返回 401API Key 无效或过期检查.env中VOLCANIC_API_KEY是否正确配置文生图返回 400图片尺寸不满足最低像素要求确保size参数对应像素数 ≥ 3,686,400流式响应卡住Nginx 缓冲未关闭设置proxy_buffering off和X-Accel-Buffering: noasyncio 超时图片生成超过 60s调大asyncio.wait_for超时参数或检查网络连接连接池耗尽httpx 客户端未正确关闭使用finally: await client.aclose()确保资源释放八、性能优化建议以下是模型调用方面的性能优化建议# 使用连接池复用 HTTP 连接clienthttpx.AsyncClient(timeouthttpx.Timeout(connect10.0,read120.0,write10.0,pool5.0),limitshttpx.Limits(max_connections100,max_keepalive_connections20),)优化方向措施预期收益HTTP 连接池复用创建全局AsyncClient减少连接开销 200ms意图识别并发调用asyncio.gather总延迟减少 30%进度推送间隔优化从 2.5s 降至 2.0s用户感知更快图片 CDN 加速配置 OSS CDN下载速度提升 5x九、总结与最佳实践本文完整解析了鸿蒙壁纸大师的火山引擎模型调用体系核心要点三层模型架构意图模型轻量 语言模型中等 文生图模型专业流式闲聊逐 token 推送提升用户体验异步并发控制进度推送和图片生成并行执行互不阻塞完善超时机制HTTP 超时 → asyncio 超时 → 主循环超时三层防护安全取消任务取消时干净释放资源无内存泄漏分辨率合规所有预设尺寸满足 API 最低像素要求调试建议使用volcanic_logger记录每次调用的请求和响应遇到超时时先检查网络连接和 API Key 有效性图片生成失败时检查size参数是否满足最低像素要求如果这篇文章对你有帮助欢迎点赞、收藏⭐、关注你的支持是我持续创作的动力相关资源火山引擎 - 豆包大模型火山引擎 - API 文档A2A 协议规范 - 华为Python asyncio 官方文档SSE 规范 - MDNPython httpx 异步 HTTP 客户端华为开发者联盟 - 文档中心OpenAI API 参考
