MLC,LLM一个本地可以运行的类chat-gpt项目,小羊驼7b模型


2023-05-25 13:34:27 •  21次阅读    评论
MLC,LLM一个本地可以运行的类chat-gpt项目,小羊驼7b模型
开发语言:Python
操作系统: 跨平台
使用说明:

MLC LLM是一个通用的解决方案,它允许任何语言模型以本机方式部署在一组不同的硬件后端和本机应用程序上,并为每个人提供一个高效的框架,以进一步优化其自身用例的模型性能。



我们的使命是让每个人都能在每个人的设备上本地开发、优化和部署人工智能模型。



一切都在本地运行,无需服务器支持,并通过手机和笔记本电脑上的本地GPU进行加速。


支持的平台包括:


iPhone、iPad;


安卓手机;


Apple Silicon和x86 MacBook;


在Windows和Linux上通过Vulkan提供AMD、Intel和NVIDIA GPU;


在Windows和Linux上通过CUDA的NVIDIA GPU;


浏览器上的WebGPU(通过配套项目WebLLM)。


用户评论

危机的小懒虫

该源码的相关教程
该源码暂时没有相关可用教程 您可以选择贡献 +[协助补充]
有穹平台赞助商
暂无赞助商,如需成为赞助商可点击 此链接 了解。