Harbor 是一个容器化的 LLM 工具包，可用于运行 LLM 和其他服务。它由一个 CLI 和一个配套应用程序组成，可让您轻松管理和运行 AI 服务。

概述和特点

该项目由一个相当大的 shell CLI、相当小的.env文件和大量（对于一个 repo 而言）的docker-compose文件组成。

特征

• 使用简洁的 CLI 管理本地 LLM 堆栈
• 用于常见任务的便捷实用程序（模型管理、配置、服务调试、URL、隧道等）
• 无需安装即可通过 Docker访问服务 CLI（hf、等）ollama
• 服务已预先配置好以便协同工作（欢迎贡献）
• 主机缓存被共享和重用-Hugging Face，ollama等。
• 共置服务配置
• 内置 LLM 基准测试服务
• 管理不同用例的配置文件
• 弹出运行，无需港口harbor eject

服务

用户界面

打开WebUI ?? ComfyUI ?? LibreChat ?? HuggingFace ChatUI ?? Lobe Chat ?? Hollama ?? parllama ?? BionicGPT ?? AnythingLLM ?? 聊天 Nio

后端

Ollama ?? llama.cpp ?? vLLM ?? TabbyAPI ?? Aphrodite Engine ?? mistral.rs ?? openai-speech ?? faster-whisper-server ?? Parler ?? text-generation-inference ?? LMDeploy ?? AirLLM ?? SGLang ?? KTransformers ?? Nexa SDK

卫星

Harbor Bench ?? Harbor Boost ?? SearXNG ?? Perplexica ?? Dify ?? Plandex ?? LiteLLM ?? LangFuse ?? Open Interpreter ? ? cloudflared ?? cmdh ?? fabric ?? txtai RAG ?? TextGrad ?? Aider ?? aichat ?? omnichain ?? lm-evaluation-harness ?? JupyterLab ?? ol1 ?? OpenHands ?? LitLytics ?? Repopack ?? n8n ?? Bolt.new ?? 打开 WebUI 管道?? Qdrant ?? K6 ?? Promptfoo ?? Webtop ?? OmniParser ?? Flowise ?? Langflow ?? OptiLLM

请参阅服务文档以了解每个服务的简要概述。

闪电之旅

Github:https://github.com/av/harbor

文档:
https://github.com/av/harbor/wiki/2.-Services