私有文档查询与本地GPT LLM对话系统
1. 支持多种类型的私有离线文档，包括PDF、Excel、Word、图像、视频帧、YouTube视频、音频、代码、文本和MarkDown等。 2. 使用高级嵌入技术（如MiniLM-L6-v2）与持久数据库（Chroma、Weaviate或内存中FAISS）进行数据管理。 3. 利用指令调整的LLM有效处理上下文，避免使用LangChain的少样本方法。 4. 并行处理和汇总功能，13B LLaMa2模型能够每秒生成80个token。 5. 通过HYDE（假设文档嵌入）增强LLM响应的检索能力。 6. 支持多种模型（如LLaMa2、Mistral、Falcon、Vicuna、WizardLM），包括AutoGPTQ、4位/8位、LORA等优化方案。 7. 提供HF和LLaMa.cpp GGML模型的GPU支持，以及HF、LLaMa.cpp和GPT4ALL模型的CPU支持。 8. 具备任意长度生成的注意力接收器，适用于LLaMa-2、Mistral、MPT、Pythia、Falcon等模型。 9. 通过用户界面支持文档上传和查看。 10. 兼容Linux、Docker、macOS和Windows操作系统。
文件大小：24.16MB
评论区