热门

最新

红包

立Flag

投票

同城

发布
weixin_37008211
realwasmedge
2 年前
trueweixin_37008211

在LlamaEdge上运行新发布的Gemma-2b 1.1。

轻量级运行时 + 轻量级模型 == 边缘计算的完美大型语言模型应用

尝试一下：https://0x5d651c9016d76537d8c4d7c644ed19e85d0fd647.gaianet.xyz/

自己运行一下：https://www.secondstate.io/articles/gemma-1.1-2b-it/

* 无Python依赖
* 本地GPU速度
* 开箱即用的OpenAI兼容API服务器
* 易于用自己的代码进行扩展
* 可在CPU和GPU之间移植的单个Wasm文件

评论
33
  • 复制链接
  • 举报
下一条：