可以本地部署的类似chat-gpt的开源项目llama.cpp


2023-05-17 02:19:49 •  290次阅读    评论
这是一个由开源分享家,转载的作品信息,您可以通过本页信息及教程所示,来了解和使用这个作品! 
可以本地部署的类似chat-gpt的开源项目llama.cpp
开发语言:Python
操作系统: Web端
使用说明:

llama.cpp的主要目标是在MacBook上使用4位整数量化来运行llama模型






无依赖关系的纯C/C++实现




苹果硅一流公民-通过ARM NEON和Accelerate框架进行优化




支持x86体系结构的AVX、AVX2和AVX512




F16/F32混合精度




支持4位、5位和8位整数量化




在CPU上运行




OpenBLAS支持




cuBLAS和CLBlast支持






llama.cpp的原始实现在一个晚上被黑客入侵。




从那时起,由于许多贡献,该项目有了显著改善。本项目为教育目的,服务于




作为开发ggml库新功能的主要场所。




支持的平台:








Mac操作系统






Linux操作系统






Windows(通过CMake)






码头工人


我也想创建自己的作品主页,了解创建和发布作品的方法 <- go! 

用户评论

开源分享家

该作品的相关教程
该作品暂时没有相关可用教程 您可以选择贡献 +[协助补充]
有穹平台赞助商
暂无赞助商,如需成为赞助商可点击 此链接 了解。