大模型本地部署工具—LM studio

如今,大语言模型已经成为AI领域的热门话题。但是要实现本地部署运行这些庞大的模型,往往需要极高的技术门槛,让普通用户望而生畏。正如上篇医疗模型所说,今天我要给大家介绍一个神器——LM Studio:LM Studio – Discover, download, and run local LLMs,它能够帮助我们一键本地运行各种大语言模型,不需要任何编程基础。

LM Studio 支持的模型有哪些呢?我们只需要打开它的界面,就可以看到列举出的众多可选模型。这些都是托管在 HuggingFace 网站上热门的开源语言模型。比如这里我们看到了最近大热的 Mistral 7B 模型,还有 Codex、Blender Bot、GPT-Neo等等。如果你想寻找特定的模型,也可以直接在搜索框内输入名称查找。

接下来的流程就很简单直观了。我们选择喜欢的模型,点击下载,等待几分钟后就下载完成。然后通过 LM Studio 的对话界面,选择我们的本地模型进行加载。稍等片刻,一个全新的对话窗口就会弹出。到此我们便可以无缝开始与强大的 AI 对话了,十分容易上手。

最让我惊艳的是,LM Studio 还内置了 API 转换功能。也就是说,它可以把本地模型快速封装成与 OpenAI 接口兼容的 API形式。这样一来,我们就可以直接把各种基于 OpenAI 开发的应用程序指向本地模型,实现同等功能,而且完全免费。这对开发者来说,无疑是一个福音。

总的来说,LM Studio 为普通用户搭建语言模型极大地降低了门槛。让我们不需要复杂的环境配置,就可以在本地与各种高水平的AI模型进行交互。它的易用性和兼容性都值得称道。希望大家也可以通过它,感受 AI 的无限可能。

发表回复