Tether推出BitNet LoRA框架跨平台应用

• Tether的BitNet LoRA框架实现了在智能手机、GPU和消费级设备上的AI模型训练。

• 该系统降低了内存使用量并提升了性能，VRAM需求最多降低77.8%。

• 用户可以在移动设备上微调高达13B参数的模型，拓展边缘AI能力。

Tether通过其QVAC Fabric平台宣布推出一款新的AI框架，支持在消费设备上进行跨平台的BitNet LoRA训练。此次更新使得亿参数模型能够在智能手机和GPU上运行。CEO Paolo Ardoino分享了这一进展，强调降低成本和扩大AI工具的普及。

跨平台AI训练拓宽访问渠道

QVAC Fabric的更新引入了对BitNet LoRA微调的跨平台支持。这使得AI模型可以在不同硬件和操作系统上运行。

值得注意的是，该框架支持来自AMD、Intel和Apple的GPU，包括移动芯片组。它还采用Vulkan和Metal后端以确保兼容性。

据Tether介绍，这是首次实现BitNet LoRA在如此广泛设备上的应用。因此，用户可以在日常硬件上进行模型训练。

在消费硬件上的性能提升

该系统通过结合BitNet和LoRA技术，降低了内存和计算需求。BitNet将模型权重压缩为简化值，而LoRA限制可训练参数。

这两种方法共同显著降低了硬件要求。例如，在移动设备上，GPU推理速度比CPU快两到十一倍。

此外，与全精度模型相比，内存使用量大幅下降。基准测试显示，VRAM使用比类似系统少达77.8%。

Tether还展示了在智能手机上的微调能力。测试显示，在Samsung S25等设备上，几分钟内即可训练出1.25亿参数的模型。

移动和边缘设备支持更大模型

该框架使得在边缘设备上运行更大模型成为可能。Tether报告称，在iPhone 16上成功微调了高达130亿参数的模型。

此外，该系统支持Adreno、Mali和Apple Bionic等移动GPU，拓展了AI开发的硬件范围。

据Paolo Ardoino表示，AI开发通常依赖昂贵的基础设施。他指出，这一框架将能力转向本地设备。

Tether补充说，该系统减少了对中心化平台的依赖，还允许用户在设备上直接进行训练和数据处理。