Mac上实现本地快速生成480P视频,FastMetal无需CUDA与云服务
一段仅长5秒的480P视频在Mac设备上实现本地生成,耗时仅需30秒。这一成果得益于FastMetal项目,全程无需依赖CUDA技术或云计算服务,内存占用则为3.9 GiB。该项目将FastWan-QAD系列模型应用于Apple Silicon平台,采用DiT架构以及DMD采样器和解码器,这一切都通过MLX框架在Metal环境下运行,同时默认使用INT8量化技术。这意味着从模型的推理到视频的解码,整个过程都在本地完成,完全不需要外部计算能力。
FastMetal提供了三种不同规格的模型供用户选择。具体而言,1.3B参数版本适合快速生成480P视频;5B参数版本可达到720P分辨率,画质和速度之间取得了一种较为理想的平衡;而14B参数版本则专注于高质量输出,适合那些对视频效果有严格要求的用户。所有模型均可在本地运行,用户可以根据自身的Mac设备配置和需求自由切换。
技术层面上,项目使用INT8量化,这一策略确保了即使是14B模型也能顺利在Mac上运行。MLX作为Apple生态内的机器学习框架,FastMetal借助它将FastWan-QAD的推理过程有效地映射到Metal GPU上。DMD采样器加速了采样步骤,而解码器则实现了将潜在空间的表示转化为可观看的视频帧。从公开资料来看,完成一段5秒视频的生成可在30秒内实现,且内存占用保持在3.9 GiB,这一数值为本地视频生成设定了合理的范围,也意味着即使是内存配置较低的Mac也能运作。
该项目的源代码已经开放,存放在GitHub的hao-ai-lab仓库中,模型权重则可以在Hugging Face的FastMetal页面上找到,相关实现思路也在博客中详细记录。对于Mac用户而言,这是当前最轻便的本地视频生成解决方案之一,无需设置CUDA环境或租用云GPU,仅凭一台Mac便可实现从文本到视频的整个流程。
如果你拥有Apple Silicon设备,不妨试试看这三种模型的效果和生成速度,或许会发现令人满意的结果。