热门
最新
红包
立Flag
投票
同城
我的
发布
Web LLM:在浏览器中运行大语言模型
该项目利用WebGPU加速,无需服务器支持,所有操作都在浏览器内运行。
这为构建面向每个人的AI助手开启了新的可能性。
这意味着以后大语言模型可以在任意设备上运行!
主要特点:
1.支持多种模型:支持多种模型,包括Llama 2 7B/13B、Llama 2 70B、Mistral 7B以及WizardMath等。
2.运行环境和要求:项目在Chrome 113中提供WebGPU支持。用户可以在支持的浏览器中直接尝试不同的模型。首次运行时需要下载模型参数,之后的运行将更快。
3.聊天演示:提供了基于Llama 2、Mistral-7B及其变体和RedPajama-INCITE-Chat-3B-v1模型的聊天演示。未来还将支持更多模型。
4.开源和开发支持:项目鼓励开发者使用WebLLM作为基础npm包,并在其上构建自己的Web应用程序。相关文档和GitHub资源可供参考。
项目目标与愿景:
该项目旨在为生态系统带来更多多样性,尤其是将LLMs直接嵌入到客户端并在浏览器内运行。这样做可以降低成本、增强个性化和保护隐私。
详细:https://webllm.mlc.ai
GitHub:https://github.com/mlc-ai/web-llm
演示视频 @charlie_ruan
AI资讯
CSDN App 扫码分享
评论
3
打赏
- 复制链接
- 举报