Tabby 是一款自托管人工智能编码助手,提供 GitHub Copilot 的开源和本地替代方案。它有几个关键功能：

• 独立,无需 DBMS 或云服务。
• OpenAPI 接口,易于与现有基础设施（例如云 IDE）集成。
• 支持消费级GPU。

系统配置

首先需要 archlinux 安装 docker，另外还需要从 archlinucn 安装 nvidia-container-toolkit 来支持 docker 容器调用外部消费级显卡

sudo pacman -S nvidia-container-toolkit  libnvidia-container-tools libnvidia-container
sudo systemctl restart docker.service

安装部署

docker run -it \\
  --gpus all -p 8080:8080 -v $HOME/.tabby:/data \\
  tabbyml/tabby \\
  serve --model TabbyML/StarCoder-3B --device cuda

主要注意下端口不要冲突，这里使用的是本地 8787 端口，另外模型选择 TabbyML/StarCoder-3B 模型，其他模型参考模型注册表。根据显存大小选择 1B 还是更复杂的 7B。1B 对应 1GB 显卡显存。显存可以使用 nvidia-smi 查看，例如 3060 显卡具有 6GB 显存，那么可以选择 1B 2B 3B 模型

注册

默认部署成功会打开 http://localhost:8080 地址**（注意：只显示一次）**，进行 Tabby 注册

将账号下方的 URL 和 Token 复制到 GoLand 插件中配置即可，点击 check connection 测试连接