AI 应用语音音频本地部署【免费下载链接】ebook2audiobookGenerate audiobooks from e-books, voice cloning 1158 languages!项目地址https://gitcode.com/GitHub_Trending/eb/ebook2audiobook点击查看免费下载本篇技术指南围绕开源项目 ebook2audiobookE2A展开这是一个将电子书转换为带有章节与元数据的有声书的 CPU/GPU 转换器内置 XTTSv2、Bark、VITS 等多套 TTS 引擎支持语音克隆与 1158 种语言。读完本文你将掌握 E2A 的本地安装启动、Gradio 网页界面操作、Headless 命令行完整参数、SML 语音控制标签、自定义微调模型上传以及基于 CPU/CUDA/ROCm/XPU/JETSON 的 Docker 部署方案并了解各功能在仓库源码中的落地实现。项目概览与核心特性ebook2audiobook简称 E2A的核心目标是把合法获取、无 DRM 的电子书转换为可听的有声书转换过程中会自动保留章节结构与元数据。项目以韩文 READMEreadme/README_kor.md等 20 余种语言文档对外介绍其能力核心特性包括多 TTS 引擎支持XTTSv2、Bark、Fairseq、VITS、Tacotron2、Tortoise、GlowTTS、YourTTS。从源码 lib/conf_models.py 的TTS_ENGINES字典可以看到实际注册的引擎还包括PIPER共 9 套可切换。多电子书格式.epub、.mobi、.azw3、.fb2、.lrf、.rb、.snb、.tcr、.pdf、.txt、.rtf、.doc、.docx、.html、.odt、.azw、.tiff、.tif、.png、.jpg、.jpeg、.bmp、.ziplib/conf.py 中的ebook_formats还额外包含.pptx。短文本直接合成提供 TextArea可将一段短文本直接转为音频。OCR 扫描对“以图片形式呈现文本页面”的文件如扫描版 PDF、JPG、BMP、PNG、TIFF进行 OCR 后再合成。高质量 TTS从接近实时生成到接近真实人声之间可选。可选语音克隆上传自己的语音文件作为克隆音色。1158 种语言支持除内置语言外还支持 MMS 项目收录的 1130 语言与方言。低资源友好最低 2 GB RAM / 1 GB VRAM 即可运行。多种输出格式mono 或 stereo 的aac、flac、mp3、m4b、m4a、mp4、mov、ogg、wav、webm。SML 标签通过[break]、[pause]、[voice:...]等标签对停顿、静默、语音切换进行细粒度控制。自定义模型可上传自己训练的模型XTTSv2、VITS、FAIRSEQ、PIPER 等。官方微调预设模型由 E2A 团队训练并提供。硬件要求与设备后端根据官方文档E2A 的资源门槛为RAM 最低 2 GB、推荐 8 GBVRAM 最低 1 GB、推荐 4 GB。Windows 上运行 Docker 需要开启虚拟化。支持的设备后端覆盖主流计算平台CPU以及XPUIntel、AMD、ARMCUDANVIDIAROCmAMDJETSONNVIDIA 嵌入式MPSApple Silicon Mac这一设备矩阵在源码 lib/conf.py 的devices字典中定义默认设备为 CPUlib/conf.py 的torch_matrix进一步为cpu、cu118/cu121/cu124/cu126/cu128、rocm5.7~rocm7.2、mps、xpu、jetson51/60/61等后端维护了对应的 PyTorch 版本与架构匹配信息安装器会根据检测结果自动选择。官方文档明确提示现代 TTS 引擎在 CPU 上非常慢如果必须在 CPU 上转换建议选择质量较低但速度更快的引擎如 YourTTS、Tacotron2。支持语言、电子书格式与输出格式支持语言内置支持以下 24 种语言括号内为 ISO 639-1 代码Arabic (ar)Chinese (zh)English (en)Spanish (es)French (fr)German (de)Italian (it)Portuguese (pt)Polish (pl)Turkish (tr)Russian (ru)Dutch (nl)Czech (cs)Japanese (ja)Hindi (hi)Bengali (bn)Hungarian (hu)Korean (ko)Vietnamese (vi)Swedish (sv)Persian (fa)Yoruba (yo)Swahili (sw)Indonesian (id)Slovak (sk)Croatian (hr)Tamil (ta)Danish (da)此外还支持1130 种以上语言与方言合计 1158 种。语言映射与默认值定义在 lib/conf_lang.pydefault_language_code eng各引擎的语言兼容表在 lib/conf_models.py 的default_engine_settings中例如 XTTSv2 支持ara/ces/deu/eng/fra/hin/hun/ita/jpn/kor/nld/pol/por/rus/spa/tur/zho17 种语言。电子书格式支持.epub、.pdf、.mobi、.txt、.html、.rtf、.chm、.lit、.pdb、.fb2、.odt、.cbr、.cbz、.prc、.lrf、.pml、.snb、.cbc、.rb、.tcr。最佳体验提示自动章节检测建议使用.epub或.mobi。同时官方特别提醒EPUB 格式对“什么是章节、段落、前言”并没有统一标准因此在转换前应先手动删除不希望转为音频的文本。输出格式输出.m4b、.m4a、.mp4、.webm、.mov、.mp3、.flac、.wav、.ogg、.aac处理格式可在 lib/conf.py 中修改。默认输出格式为m4b、默认声道为mono、默认处理采样率为 24000 Hz、默认处理格式为flacwav 亦可但受限于 4GB 以下文件。SML 标签详解停顿、静默与语音切换SMLSpeech Markup Language标签允许在电子书文本中嵌入控制指令实现朗读节奏与音色的精细控制。官方支持四种标签标签效果[break]静默时长随机范围0.3–0.6 秒[pause]静默时长随机范围1.0–1.6 秒[pause:N]固定停顿N 秒如需要 3 秒停顿可写[pause:3][voice:/path/to/voice/file]...[/voice]从默认音色或 GUI/CLI 选择的音色切换至指定语音文件这些标签在源码中有完整的解析与实现标签定义在 lib/conf_models.py 的TTS_SML字典及正则SML_TAG_PATTERNlib/conf_models.py实际合成逻辑位于 lib/classes/tts_engines/common/utils.py_split_sentence_on_sml()先把句子按 SML 标签切分为文本段与标签段_convert_sml()对[break]生成 0.3–0.5 秒随机静音、对[pause]生成 0.6–1.1 秒随机静音或按[pause:N]生成固定时长静音具体随机区间随版本演进可能变化README 文档标注的区间为 0.3–0.6 / 1.0–1.6 秒[voice:...]标签会校验文件存在性后切换当前音色[/voice]恢复块级默认音色。实战技巧在 Gradio/GUI 模式下点击电子书上传组件的[X]即可取消正在进行的转换。安装与启动本地 Gradio 网页界面克隆仓库git clone https://gitcode.com/GitHub_Trending/eb/ebook2audiobook.git cd ebook2audiobook安装并运行Linux / macOS./ebook2audiobook.commandmacOS 用户也可双击Mac Ebook2Audiobook Launcher.command。官方说明macOS 会通过 homebrew 自动安装缺失程序。Windowsebook2audiobook.cmd或双击ebook2audiobook.cmd。官方说明Windows 会通过 scoop 安装缺失程序无需管理员权限。打开 Web 应用安装脚本运行后按终端输出的 URL 访问网页应用并上传电子书进行转换默认地址为http://localhost:7860/。该端口由 lib/conf.py 的interface_port 7860定义app.py 在启动 GUI 前会检查端口占用避免多实例冲突。需要公网分享链接时# Linux/MacOS ./ebook2audiobook.command --share # Windows ebook2audiobook.cmd --share # 全平台 python app.py --share官方提示如果脚本停止后再次运行需要刷新 Gradio 页面让网页重新连接到新的连接 socket。GUI 的实际界面可参考 assets/gui_1.png、assets/gui_2.png、assets/gui_3.png 及动图 assets/demo_web_gui.gif。Headless 基础用法命令行直接转换不启动网页界面、直接在终端完成转换Linux / macOS./ebook2audiobook.command --headless --ebook path_to_ebook_file --voice path_to_voice_file --language language_codeWindowsebook2audiobook.cmd --headless --ebook path_to_ebook_file --voice path_to_voice_file --language language_code三个核心参数--ebook电子书文件路径必填与--ebooks_dir、--text互斥。--voice语音克隆文件路径可选缺省时使用默认音色。--languageISO-639-3 格式语言代码如意大利语ita、英语eng、德语deu。默认语言为eng定义于 lib/conf_lang.py因此转换英语时可省略该参数同时也支持两位 ISO-639-1 代码。自定义模型 Zip 上传如果你有自己训练或微调过的模型可以通过--custom_model以 zip 形式上传。zip 内必须包含该 TTS 引擎要求的全部必需文件例如 XTTSv2 需要config.json、model.pth、vocab.json与ref.wav——这一文件清单与 lib/conf_models.py 中 XTTS 引擎的files配置完全一致。# Linux/MacOS ./ebook2audiobook.command --headless --ebook ebook_file_path --language language --custom_model custom_model_path # Windows ebook2audiobook.cmd --headless --ebook ebook_file_path --language language --custom_model custom_model_path注意自定义模型中的ref.wav始终作为本次转换选用的音色。各引擎所需文件的完整说明参见 lib/conf_models.pyREADME 中写作./lib/models.py仓库实际路径为lib/conf_models.py。完整 CLI 参数详解--help 全量输出运行./ebook2audiobook.command --helpLinux/MacOS、ebook2audiobook.cmd --helpWindows或app.py --help全平台可获取完整帮助。其输出由 app.py 的argparse定义生成原文完整如下usage: app.py [-h] [--session SESSION] [--share] [--headless] [--ebook EBOOK] [--ebooks_dir EBOOKS_DIR] [--language LANGUAGE] [--voice VOICE] [--voice_map VOICE_MAP] [--device {CPU,CUDA,MPS,ROCM,XPU,JETSON}] [--tts_engine {XTTS,BARK,VITS,FAIRSEQ,TACOTRON,YOURTTS,xtts,bark,vits,fairseq,tacotron,yourtts}] [--custom_model CUSTOM_MODEL] [--fine_tuned FINE_TUNED] [--output_format OUTPUT_FORMAT] [--output_channel OUTPUT_CHANNEL] [--temperature TEMPERATURE] [--length_penalty LENGTH_PENALTY] [--num_beams NUM_BEAMS] [--repetition_penalty REPETITION_PENALTY] [--top_k TOP_K] [--top_p TOP_P] [--speed SPEED] [--enable_text_splitting] [--text_temp TEXT_TEMP] [--waveform_temp WAVEFORM_TEMP] [--output_dir OUTPUT_DIR] [--version] Convert eBooks to Audiobooks using a Text-to-Speech model. You can either launch the Gradio interface or run the script in headless mode for direct conversion. options: -h, --help show this help message and exit --session SESSION Session to resume the conversion in case of interruption, crash, or reuse of custom models and custom cloning voices. **** The following option is for gradio/gui mode only: --share (Optional) Enable a public shareable Gradio link. **** The following options are for --headless mode only: --headless Run the script in headless mode --ebook EBOOK Path to the ebook file for conversion. Cannot be used when --ebooks_dir is present. --ebooks_dir EBOOKS_DIR Relative or absolute path of the directory containing the files to convert. Cannot be used when --ebook is present. --text TEXT Raw text for conversion. Cannot be used when --ebook or --ebooks_dir is present. --language LANGUAGE Language of the e-book. Default language is set in ./lib/lang.py sed as default if not present. All compatible language codes are in ./lib/lang.py optional parameters: --translate ISO3 (Optional) Translate ebook to a target language (ISO 639-3 code, e.g. eng, fra, deu) before TTS synthesis. Uses argostranslate. The target language becomes the effective TTS language for the run. A copy of the source ebook is made with the _iso3 suffix so translated and non-translated outputs stay isolated (independent process folder, audio chunks, and final file). --voice VOICE (Optional) Path to the voice cloning file for TTS engine. Uses the default voice if not present. --voice_map VOICE_MAP (Optional, --ebooks_dir only) Path to a JSON file mapping ebook path - voice path. Each entry overrides --voice for that specific ebook. Missing/null entries fall back to --voice. Keys may be absolute paths or basenames. Example: {book1.epub: /voices/eng/adult/female/alice.wav, /abs/path/book2.epub: null} --device {CPU,CUDA,MPS,ROCM,XPU,JETSON} (Optional) Processor unit type for the conversion. Default is set in ./lib/conf.py if not present. Fall back to CPU if CUDA or MPS is not available. --tts_engine {XTTS,BARK,VITS,FAIRSEQ,TACOTRON,YOURTTS,xtts,bark,vits,fairseq,tacotron,yourtts} (Optional) Preferred TTS engine (available are: [XTTS, BARK, VITS, FAIRSEQ, TACOTRON, YOURTTS, xtts, bark, vits, fairseq, tacotron, yourtts]. Default depends on the selected language. The tts engine should be compatible with the chosen language --custom_model CUSTOM_MODEL (Optional) Path to the custom model zip file cntaining mandatory model files. Please refer to ./lib/models.py --fine_tuned FINE_TUNED (Optional) Fine tuned model path. Default is builtin model. --output_format OUTPUT_FORMAT (Optional) Output audio format. Default is m4b set in ./lib/conf.py --output_channel OUTPUT_CHANNEL (Optional) Output audio channel. Default is mono set in ./lib/conf.py --temperature TEMPERATURE (xtts only, optional) Temperature for the model. Default to config.json model. Higher temperatures lead to more creative outputs. --length_penalty LENGTH_PENALTY (xtts only, optional) A length penalty applied to the autoregressive decoder. Default to config.json model. Not applied to custom models. --num_beams NUM_BEAMS (xtts only, optional) Controls how many alternative sequences the model explores. Must be equal or greater than length penalty. Default to config.json model. --repetition_penalty REPETITION_PENALTY (xtts only, optional) A penalty that prevents the autoregressive decoder from repeating itself. Default to config.json model. --top_k TOP_K (xtts only, optional) Top-k sampling. Lower values mean more likely outputs and increased audio generation speed. Default to config.json model. --top_p TOP_P (xtts only, optional) Top-p sampling. Lower values mean more likely outputs and increased audio generation speed. Default to config.json model. --speed SPEED (xtts only, optional) Speed factor for the speech generation. Default to config.json model. --enable_text_splitting (xtts only, optional) Enable TTS text splitting. This option is known to not be very efficient. Default to config.json model. --text_temp TEXT_TEMP (bark only, optional) Text Temperature for the model. Default to config.json model. --waveform_temp WAVEFORM_TEMP (bark only, optional) Waveform Temperature for the model. Default to config.json model. --output_dir OUTPUT_DIR (Optional) Path to the output directory. Default is set in ./lib/conf.py --abs_url ABS_URL Audiobookshelf server URL (e.g. http://localhost:13378). --abs_api_token ABS_API_TOKEN Audiobookshelf API token. --abs_library ABS_LIBRARY Audiobookshelf library ID. --version Show the version of the script and exit关键参数的默认值与源码对应关系结合源码 lib/conf_models.py 与 lib/conf.py各可选参数的默认取值如下参数默认值说明--deviceCPU来自 lib/conf.py 的default_deviceCUDA/MPS 不可用时自动回退 CPU--tts_engineXTTS默认引擎为 XTTS也可按语言选择--output_formatm4b来自default_output_format--output_channelmono来自default_output_channel--temperature0.75XTTS 专用越高输出越“有创意”--length_penalty1.0XTTS 自回归解码器的长度惩罚不应用于自定义模型--num_beams1XTTS 束搜索候选数须大于等于 length_penalty--repetition_penalty2.0防止自回归解码器重复--top_k40越低输出越确定、生成越快--top_p0.95越低输出越确定、生成越快--speed1.0语速系数--enable_text_splittingFalse官方注明效率不高--text_temp0.22Bark 专用文本温度--waveform_temp0.44Bark 专用波形温度其中 XTTS 的推理参数在 lib/classes/tts_engines/xtts.py 中被映射为模型实际调用参数。--translate使用 argostranslate 在合成前把电子书翻译为目标语言并生成带_iso3后缀的副本使翻译与非翻译输出相互隔离。Docker 部署CPU / CUDA / ROCm / XPU / JETSON 全覆盖遇到依赖问题时官方推荐直接使用 Docker——镜像完全自包含且同样支持 headless 模式。构建镜像# Windows Docker: ebook2audiobook.cmd --script_mode build_docker Docker Compose: ebook2audiobook.cmd --script_mode build_docker --docker_mode compose Podman Compose: ebook2audiobook.cmd --script_mode build_docker --docker_mode podman # Linux/Mac Docker: ./ebook2audiobook.command --script_mode build_docker Docker Compose: ./ebook2audiobook.command --script_mode build_docker --docker_mode compose Podman Compose: ./ebook2audiobook.command --script_mode build_docker --docker_mode podman运行 GUI 模式# CPU docker run -v ./ebooks:/app/ebooks -v ./audiobooks:/app/audiobooks -v ./models:/app/models -v ./voices:/app/voices -v ./tmp:/app/tmp --rm -it -p 7860:7860 athomasson2/ebook2audiobook:cpu # CUDAcu118/cu122/cu124/cu126 等 docker run -v ./ebooks:/app/ebooks -v ./audiobooks:/app/audiobooks -v ./models:/app/models -v ./voices:/app/voices -v ./tmp:/app/tmp --gpus all --rm -it -p 7860:7860 athomasson2/ebook2audiobook:cu[118/122/124/126 etc..] # ROCmrocm6.0/6.1/6.4 等 docker run -v ./ebooks:/app/ebooks -v ./audiobooks:/app/audiobooks -v ./models:/app/models -v ./voices:/app/voices -v ./tmp:/app/tmp --device/dev/kfd --device/dev/dri --rm -it -p 7860:7860 athomasson2/ebook2audiobook:rocm[6.0/6.1/6.4 etc..] # XPU docker run -v ./ebooks:/app/ebooks -v ./audiobooks:/app/audiobooks -v ./models:/app/models -v ./voices:/app/voices -v ./tmp:/app/tmp --device/dev/dri --rm -it -p 7860:7860 athomasson2/ebook2audiobook:xpu # JETSONjetson51/60/61 等 docker run -v ./ebooks:/app/ebooks -v ./audiobooks:/app/audiobooks -v ./models:/app/models -v ./voices:/app/voices -v ./tmp:/app/tmp --runtime nvidia --rm -it -p 7860:7860 athomasson2/ebook2audiobook:jetson[51/60/61 etc...]运行 Headless 模式Headless 模式需额外挂载一个宿主机真实电子书目录到容器内# CPU docker run -v ./ebooks:/app/ebooks -v ./audiobooks:/app/audiobooks -v ./models:/app/models -v ./voices:/app/voices -v ./tmp:/app/tmp -v /my/real/ebooks/folder/absolute/path:/app/another_ebook_folder --rm -it -p 7860:7860 ebook2audiobook:cpu --headless --ebook /app/another_ebook_folder/myfile.pdf [--voice /app/my/voicepath/voice.mp3 etc..] # CUDA / ROCm / XPU / JETSON在上述命令基础上分别加上 --gpus all、--device/dev/kfd --device/dev/dri、--device/dev/dri、--runtime nvidia并替换对应镜像 tagDocker Compose 与 Podman Compose以 CUDA 12.8 为例# Docker Compose GUI DEVICE_TAGcu128 docker compose --profile gpu up --no-log-prefix # Docker Compose Headless DEVICE_TAGcu128 docker compose --profile gpu run --rm ebook2audiobook --headless --ebook /app/ebooks/myfile.pdf --voice /app/voices/eng/adult/female/some_voice.wav etc.. # Podman Compose GUI DEVICE_TAGcu128 podman-compose -f podman-compose.yml --profile gpu up # Podman Compose Headless DEVICE_TAGcu128 podman-compose -f podman-compose.yml --profile gpu run --rm ebook2audiobook-gpu --headless --ebook /app/ebooks/myfile.pdf --voice /app/voices/eng/adult/female/some_voice.wav etc..对应的编排文件位于仓库根目录的 docker-compose.yml 与 podman-compose.yml。注意Docker 不暴露 MPS因此在 Docker 中使用 Apple Silicon 时必须选择 CPU。语音克隆你可以上传任意受支持音频格式的语音文件作为克隆音色理想时长约 1–5 分钟。录音背景嘈杂或有背景音乐都没关系——E2A 会自动对参考音频做降噪清理相关能力对应源码中的语音提取与处理模块。内置的克隆音色列表目前以英语为主如需其他语言音色进入官方列表可联系项目方审核后添加。微调 TTS 模型官方提供完整的 XTTSv2 微调工作流仓库内即包含可直接使用的 NotebookNotebooks/finetune/xtts/colab_xtts_finetune_webui.ipynbGoogle Colab 微调 WebUINotebooks/finetune/xtts/kaggle-xtts-finetune-webui-gradio-gui.ipynbKaggle 微调 Gradio GUI训练数据建议先做降噪处理微调好的 XTTSv2 自定义模型必须附带参考音频片段ref.wav作为音色基准。训练完成后可在运行 E2A 时通过--fine_tuned指定微调模型路径或打包为 zip 通过--custom_model上传。E2A 团队也在持续发布官方微调模型集合。自定义配置修改 conf.py / models.py如果你想增减默认设置可以自由修改 lib/conf.py 与 lib/conf_models.pyREADME 中写作libs/conf.py/lib/models.py仓库实际路径为lib/conf.py/lib/conf_models.py。官方建议修改前先保存原文件副本每次更新 ebook2audiobook 时备份你的修改版本再恢复官方原版进行升级如果你希望把自己训练的模型加入官方微调预设列表可联系项目方审核后收录。版本回退需要回退到旧版本时使用 git tag 切换git checkout tags/VERSION_NUM # 例如 git checkout tags/v25.7.7常见问题GPU 未被检测到NVIDIA/ROCm/XPU/MPS参考项目 Wiki 的 GPU 排障页面或使用 components/detect_gpu.py 等检测脚本确认设备状态。CPU 转换很慢CPU尤其是服务器 SMP CPU更适合跑低质量引擎GPU 才能接近实时转换但零样本语音克隆仅 GPU 可用。依赖问题直接用 Docker完全自包含在 docker run 命令末尾加--help可查看容器内参数。音频截断请提交 Issue——项目方并非精通所有语言需要用户反馈来微调句级分割逻辑。给贡献者的代码规范仓库对 Python 代码有明确的规范化要求见 README代码之间不留空行函数与类之间除外除dict()与json外所有键使用单引号dict[key]一律用单引号调用使用 4 空格缩进完全不用 Tab所有函数、参数声明与返回值必须有严格类型标注参数与类型注解之间、函数与-与返回值之间不留空格。总结从本地 Gradio 网页转换、Headless 命令行批处理到 Docker/Compose 的多后端部署ebook2audiobook 提供了完整、可脚本化的电子书转有声书链路SML 标签与语音克隆让音色和朗读节奏可精细控制1158 种语言覆盖与低资源友好特性则显著降低了使用门槛。配合 lib/conf.py、lib/conf_models.py、lib/conf_lang.py、app.py 等源码文件你可以深入理解每个参数背后的实现逻辑并根据自身硬件与语言需求定制专属的电子书听书方案。赞分享AI 应用语音音频本地部署【免费下载链接】ebook2audiobookGenerate audiobooks from e-books, voice cloning 1158 languages!项目地址https://gitcode.com/GitHub_Trending/eb/ebook2audiobook点击查看免费下载相关推荐ebook2audiobookE2A实战指南电子书转有声书的本地运行、Headless 批量转换与 Docker 部署ebook2audiobookE2A实战指南电子书转有声书的本地运行、Headless 批量转换与 Docker 部署 本篇技术指南以开源项目 ebookAI 应用语音音频本地部署如何给background-agents贡献新的沙箱供应商provider贡献清单全解如何给background agents贡献新的沙箱供应商provider贡献清单全解 background agents 是一个开源的后台智能体backgAI 应用语音音频本地部署Kubernetes Goat 场景 15 实战容器镜像层取证——从镜像中找回被删除的敏感文件Kubernetes Goat 场景 15 实战容器镜像层取证——从镜像中找回被删除的敏感文件 本文基于 Kubernetes Goat 的 ScenarioAI 应用语音音频本地部署上一篇断网也能骑Zoffline 离线 Zwift 服务器从零上手指南3 条路径让你 30 分钟骑上第一趟下一篇Cookiecutter 0.6.2 版本技术解析Jinja2 依赖策略、二进制文件处理与 Unicode 编码修复创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考