MLC LLM是一个通用的解决方案,它允许任何语言模型以本机方式部署在一组不同的硬件后端和本机应用程序上,并为每个人提供一个高效的框架,以进一步优化其自身用例的模型性能。
我们的使命是让每个人都能在每个人的设备上本地开发、优化和部署人工智能模型。
一切都在本地运行,无需服务器支持,并通过手机和笔记本电脑上的本地GPU进行加速。
支持的平台包括:
iPhone、iPad;
安卓手机;
Apple Silicon和x86 MacBook;
在Windows和Linux上通过Vulkan提供AMD、Intel和NVIDIA GPU;
在Windows和Linux上通过CUDA的NVIDIA GPU;
浏览器上的WebGPU(通过配套项目WebLLM)。
用户评论