GPA-v1.5 ONNX Runtime使用教程CLI工具、浏览器UI与语音注册全流程【免费下载链接】GPA[AutoArk] GPA (General Purpose Audio) can do ASR, TTS and voice conversion with one tiny model!项目地址: https://gitcode.com/gh_mirrors/gpa5/GPAGPAGeneral Purpose Audio是一款功能强大的通用音频模型能通过一个轻量级模型实现语音识别ASR、文本转语音TTS和语音转换VC三大功能。本教程将详细介绍如何使用GPA-v1.5的ONNX Runtime包括CLI工具的基本操作、浏览器UI的使用方法以及语音注册的完整流程帮助你快速上手这一强大的音频处理工具。 准备工作下载与环境配置在开始使用GPA-v1.5 ONNX Runtime之前需要完成资产下载和环境配置两个关键步骤。下载运行时资产首先从Hugging Face下载ONNX运行时资产包推荐的目录结构是将资产包放置在与项目同级的路径GPA-v1.5-HF/GPA-v1.5-onnx-runtime。这样可以避免额外的配置步骤程序会自动识别资产位置。如果需要自定义资产路径可以通过环境变量指定export ARK_AUDIO_RUNTIME_ASSET_ROOT/absolute/path/to/GPA-v1.5-onnx-runtime下载完成后确保资产包包含以下关键目录和文件model/runtime_manifest.jsonmodel/reference/default_global_tokens.npygenai_fp16_qwen/model.onnxgenai_int4_qwen/model.onnxvoice/spark_tokenizer_model/config.yamlvoice/spark_tokenizer_model/model.safetensors环境搭建推荐使用专用的虚拟环境来运行GPA-v1.5 ONNX Runtime具体步骤如下python3 -m venv .venv source .venv/bin/activate python -m pip install --upgrade pip pip install -r GPA_1.5/onnx_runtime/requirements.runtime.txt 快速开始CLI工具使用CLI工具是使用GPA-v1.5 ONNX Runtime的基础通过简单的命令即可实现语音合成和识别功能。语音合成TTS使用int4精度进行语音合成的命令如下python GPA_1.5/onnx_runtime/infer_ark_audio_onnx.py \ --runtime-root GPA-v1.5-HF/GPA-v1.5-onnx-runtime \ --task tts \ --tts_text Hello, this is a short GPA speech synthesis check. \ --tts_out_wav tmp_docs/onnx_smoke/readme_tts_int4_int8.wav \ --main-model-precision int4 \ --decoder-precision int8如果需要使用已注册的特定语音可以通过--voice-global-token参数指定语音的token文件python GPA_1.5/onnx_runtime/infer_ark_audio_onnx.py \ --runtime-root GPA-v1.5-HF/GPA-v1.5-onnx-runtime \ --task tts \ --tts_text Hello, this is a short GPA speech synthesis check. \ --tts_out_wav tmp_docs/onnx_smoke/readme_tts_registered_voice.wav \ --voice-global-token GPA_1.5/onnx_runtime/voices/items/default/global_tokens.npy \ --main-model-precision int4 \ --decoder-precision int8语音识别ASR使用int4精度对音频文件进行语音识别的命令如下python GPA_1.5/onnx_runtime/infer_ark_audio_onnx.py \ --runtime-root GPA-v1.5-HF/GPA-v1.5-onnx-runtime \ --task asr \ --asr_audio tmp_docs/onnx_smoke/readme_tts_int4_int8.wav \ --main-model-precision int4对于性能较强的GPU可以将精度设置为fp16以获得更高质量的输出。 浏览器UI直观交互体验GPA-v1.5 ONNX Runtime提供了一个基于FastAPI的Web服务通过浏览器UI可以更直观地进行音频处理操作。启动Web服务在终端中执行以下命令启动Web服务cd GPA_1.5/onnx_runtime uvicorn service:app --host 127.0.0.1 --port 8024启动成功后在浏览器中访问http://127.0.0.1:8024/即可打开UI界面。UI功能介绍浏览器UI提供了丰富的功能包括语音合成输入文本生成语音语音识别上传或录制音频进行转录语音管理查看和管理已注册的语音运行监控查看运行时的内存使用情况️ 语音注册自定义你的声音GPA-v1.5支持语音注册功能让你可以使用自定义的声音进行语音合成。准备工作在进行语音注册前确保资产包中包含voice/spark_tokenizer_model目录。如果资产位于非默认路径可以通过环境变量指定export ARK_AUDIO_TOKENIZER_MODEL_DIR/absolute/path/to/spark_tokenizer_model语音注册流程通过UI注册在浏览器UI中找到语音注册功能按照提示上传或录制语音样本。查找voice_id注册成功后在GPA_1.5/onnx_runtime/voices/registry.json文件中查找生成的voice_id。使用注册语音通过CLI工具使用已注册的语音命令如下python GPA_1.5/onnx_runtime/infer_ark_audio_onnx.py \ --runtime-root GPA-v1.5-HF/GPA-v1.5-onnx-runtime \ --task tts \ --tts_text Hello, this is a custom voice. \ --tts_out_wav output_custom_voice.wav \ --voice-global-token GPA_1.5/onnx_runtime/voices/items/voice_id/global_tokens.npy \ --main-model-precision int4 \ --decoder-precision int8 API接口扩展与集成GPA-v1.5 ONNX Runtime提供了丰富的API接口方便进行功能扩展和集成。主要接口包括UI界面GET /健康检查GET /api/health内存监控GET /api/memory语音管理GET /api/voices、POST /api/voices/register-path、POST /api/voices/register-upload核心推理POST /api/tts、POST /api/asrOpenAI兼容接口GET /v1/models、GET /v1/audio/voices、POST /v1/audio/speech、POST /v1/audio/transcriptions通过这些接口可以将GPA-v1.5集成到各种应用场景中实现更灵活的音频处理功能。️ 开发者工具调试与优化GPA-v1.5 ONNX Runtime提供了一系列开发者工具帮助进行模型调试和优化Torch vs ONNX调试compare_torch_onnx_tts.py用于逐步检查PyTorch和ONNX模型的差异。运行时资产重建build_runtime.py用于刷新资产包。导出与量化工具scripts/目录下包含各种导出、量化和扫描工具。⚠️ 注意事项在使用GPA-v1.5 ONNX Runtime时需要注意以下几点UI示例文件浏览器UI默认查找samples/sample.mp3如果文件缺失UI会给出提示。ASR准确性ONNX CLI/服务的冒烟测试仅检查执行是否成功不保证转录准确性可能会有轻微的措辞差异。语音注册默认的资产包已包含tokenizer模型资产仅在需要替换时使用ARK_AUDIO_TOKENIZER_MODEL_DIR环境变量。通过本教程你已经了解了GPA-v1.5 ONNX Runtime的基本使用方法包括CLI工具、浏览器UI和语音注册功能。开始探索这个强大的音频模型为你的项目添加高效的语音处理能力吧要开始使用请克隆仓库https://gitcode.com/gh_mirrors/gpa5/GPA【免费下载链接】GPA[AutoArk] GPA (General Purpose Audio) can do ASR, TTS and voice conversion with one tiny model!项目地址: https://gitcode.com/gh_mirrors/gpa5/GPA创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
