首页 › 模型
这是回答棘手问题的那一页。端侧今天到底什么跑得顺?我的笔记本能做什么?做出来的东西能卖吗?简答,按这个顺序。
如果只读一节,读各模态成熟度——它决定了一个愉快的下午和一个沮丧的下午之间的差别。
季节工坊没有发明自己的推理引擎。它依赖两套成熟的本地栈,面板使用哪一套决定了你喂给它什么文件格式以及有哪些后端可用。
| 面板 | 运行时 | 模型格式 |
|---|---|---|
| 文本、翻译 | llama.cpp / GGML | .gguf,通常 4-bit 量化 |
| 音乐、文字转语音、语音转文字 | GGML | .gguf |
| 图片 | stable-diffusion.cpp / ONNX Runtime | 模型文件加匹配的 VAE |
| 视频 | ONNX Runtime | 模型文件加共享文本编码器 |
| 视觉 | ONNX Runtime | .onnx |
每个运行时都会枚举你的机器能提供什么,并选取最快的可用选项。CPU 始终可用且始终有效;加速后端是 Premium 一次性解锁的一部分。
| 平台 | GGML 后端 | ONNX Runtime 执行提供者 |
|---|---|---|
| Windows 10 / 11,x64 | CPU · Vulkan · CUDA | CPU · DirectML · CUDA |
| macOS,Apple silicon | CPU · Metal | CPU · CoreML |
CUDA 是 NVIDIA 硬件上的快路径;DirectML 在 Windows 上覆盖 AMD、Intel 和 NVIDIA;Metal 覆盖 Apple silicon。在一台什么都没有的机器上应用仍然能跑——只是需要你多给一点耐心。
开放的、可本地运行的模型并非同时诞生,质量也参差不齐。文本和图片生成已有数年迭代;端侧音乐和视频要年轻得多。以下是我们认为每个面板当前真实的位置,以及原因。
10 亿到 80 亿参数范围的量化指令模型是本地 AI 最成熟的部分。它们在段落和页面尺度上可靠地起草、总结和重构。专用翻译模型更进一步:对于主要语言对,它们在语体和术语上比同等规模的通用模型更稳定。诚实的局限在于知识和推理深度——小型本地模型不知道最近发生的事,宁可给出自信的错误答案也不愿承认不确定。
这是本地和托管质量趋同最多的模态。SDXL 和 SD 3.5 系列,以及它们旁边的新家族,产出的插画和概念作品可以放到客户面前。提示词遵循性大幅改善,编辑模型让你只改一处而不重绘全部,采样器预览意味着一个坏种子只浪费几秒而非几分钟。仍然困难的:图片中的可读文字、手和人群,以及精确的构图控制。
对于干净的音频,转录是一个已解决的问题,也是本地运行最有价值的一项任务——录音是大多数人喂给模型的最私密的东西。合成快速赶上:当前的小型语音模型对旁白已经足够自然,用文字描述声音而非从列表中选择也确实可行。接缝在长段落中会显现,韵律会失去线索,所以逐段处理。
视觉栈由小型、成熟、专用模型组成,而非一个野心勃勃的大模型,这正是它可靠的原因。描述、OCR、分类、检测和分割在普通照片上表现可预测,一秒内加载。准确率在手写体、美术字和重度压缩下会下降,检测只能命名训练过的类别。
Stable Audio 家族让桌面端的短音频生成变得实用,在其范围内结果确实可用:音效、质感、氛围底色和循环。超出这个范围,整个领域还没有到达。长程音乐结构——发展的主题、回归的副歌——不是当前一代开放模型能做的,人声也不在范围内。我们的建议是把它用在下层而非主旋律。
本地视频生成是应用中最令人兴奋也最不可靠的部分。开放的文生视频和图生视频模型可以产生几秒钟的连贯运动,偶尔会有惊艳的瞬间,但代价很高:GB 级的模型文件、每次渲染数分钟、有限的分辨率,以及跨帧漂移的身份。我们发布它是因为它真实存在且在快速进步,我们标记它为实验性是因为我们宁愿设定你的预期,也不想给你一个惊喜。
因为另一种结果是你在一个截止日期前才发现。模态之间的差距是关于端侧创作 AI 最有用的单一信息,也是营销页面通常略过的信息。
下面的分档来自我们对开发机的预期,而非大规模测量的结果。把它们当作判断自己属于哪一列的指南,而不是基准。它们将被实测数据替换。
在三个档位中找到你的机器,然后横向阅读。这张表的意义不在于精确计时——而在于知道先打开哪些面板。
| 档位 | 这样的机器 | 可以期待什么 |
|---|---|---|
| 轻量 | 轻薄笔记本,8 GB 内存,集成显卡或入门级 Apple silicon。 | 文本、翻译、语音转文字、文字转语音和视觉都很舒适。图片在 512×512 配合轻量模型下可用——预期每张数十秒。音乐很慢但可用于短片段。跳过视频。 |
| 舒适 | 16 GB 内存配 8 GB 显卡,或 16 GB 以上统一内存的 Apple silicon Pro。 | 最佳甜点。图片 1024×1024 远不到一分钟,更大的语言和翻译模型,更长的转录,音乐无需久等。视频在很低分辨率下短片段变得可行。 |
| 宽裕 | 32 GB 内存配 16 GB 或更大显卡,或 Apple silicon Max。 | 全部可用,包括模型实际设计分辨率下的视频。重型图片模型、批量变体和最大的语言模型都装得下。 |
应用内置一个紧凑的多模态语言模型,所以文本面板和内容安全门开箱即用,无需下载。其他所有模型都由你自行添加——可以在运行需要时按需获取,也可以从你已有的文件夹导入。
| 面板 | 可加载的家族 | 磁盘大致占用 |
|---|---|---|
| 文本 | 紧凑指令模型,以及 40‑80‑亿参数级别的更大模型 | 0.5 – 6 GB |
| 翻译 | 专用翻译模型,大小两种 | 1 – 5 GB |
| 图片 | SD 1.5、SDXL、SD 3.5、更新的开放家族和编辑模型——各需一个 VAE | 每个 2 – 20 GB |
| 视频 | 文生视频和图生视频模型加共享文本编码器 | 10 – 40 GB |
| 音乐 | Stable Audio,音效和音乐变体,两种尺寸 | 1 – 5 GB |
| 文字转语音 | 基础、自定义声音和声音描述变体的语音模型 | 0.5 – 2 GB |
| 语音转文字 | 多种尺寸的 Whisper 家族模型 | 0.1 – 3 GB |
| 视觉 | OCR、分类、检测、分割和人脸模型 | 每个 10 – 300 MB |
应用提供的确切模型列表随领域发展而变化。指南说明了如何添加你已有的模型。
季节工坊是播放器,不是出版商。应用自身的许可覆盖应用;你加载的每个模型保留其作者选择的许可,那个许可——而非我们的——决定你可以对输出做什么。
开放模型许可的差异比人们预期的更大:有些是宽松许可,有些是带条件的社区许可,少数仅限研究。应用在它可加载的每个模型旁列出许可。在客户工作之前读一次,而非之后。
推理栈本身——llama.cpp、stable-diffusion.cpp、GGML 和 ONNX Runtime——都是在宽松许可下的开源项目。在 Windows 上,NVIDIA CUDA 和 cuDNN 运行时库在 NVIDIA 自身条款下再分发,不在我们的许可覆盖范围内。完整的第三方声明列表随应用附带。
我们对你创作的内容不主张任何权利。没有东西被上传,所以没有东西被收集,也没有任何条款授予我们对你输出的许可。你生成的是你磁盘上的一个文件。