RAG

本地部署大型语言模型随着开发人员和组织寻求增强的隐私性、减少延迟和对AI基础设施的更大控制权，变得越来越流行。

人工智能的民主化已经到来。
借助像 Llama 3、Mixtral 和 Qwen 这样的开源大语言模型（LLM），团队现在可以使用消费级硬件构建强大的 AI 基础设施 - 在降低成本的同时，仍能完全控制数据隐私和部署。

检索增强生成（RAG）已经远远超越了简单的向量相似性搜索。 LongRAG、Self-RAG 和 GraphRAG 代表了这些能力的前沿。

令牌优化是区分成本效益高的LLM应用与耗费预算的实验的关键技能。

将HTML转换为Markdown是现代开发工作流程中的基本任务，特别是在为大型语言模型（LLMs）、文档系统或静态站点生成器（如Hugo）准备网页内容时。

本指南全面概述了可用于 Ollama 的 Go SDK，并比较了它们的功能集。

以下是 Qwen3:30b 和 GPT-OSS:20b 的比较，重点聚焦于指令遵循和性能参数、规格和速度：

在本文中，我们将探讨两种连接您的 Python 应用程序到 Ollama 的方法：1. 通过 HTTP REST API；2. 通过 官方 Ollama Python 库。

以下是结构化输出在主流大语言模型（LLM）提供商之间的对比，以及一些Python示例：

大型语言模型（LLMs）功能强大，但在生产环境中，我们很少希望得到自由形式的段落。相反，我们希望获得可预测的数据：属性、事实或可以输入到应用程序中的结构化对象。这就是LLM结构化输出。

由于标准 Ollama 没有直接的重排序 API，
您需要通过生成查询-文档对的嵌入向量并对其进行评分来实现使用 Qwen3 重排序器在 GO 中进行重排序。

这个小的 Go代码示例重新排序调用Ollama生成嵌入用于查询和每个候选文档，然后按余弦相似度降序排序。

Qwen3 Embedding 和 Reranker 模型是 Qwen 系列的最新发布，专为高级文本嵌入、检索和重排序任务而设计。

如果您正在寻找 Go 中的 Beautiful Soup 等效库，有多个库提供了类似的 HTML 解析和抓取功能：

在 Ollama 模型库中，有一些模型可以将 HTML 内容转换为 Markdown，这对内容转换任务非常有用。

使用大型语言模型（LLM）的成本并不高，可能不需要购买新的高性能GPU。
以下是一份云上LLM提供商列表，列出了他们托管的LLM。

本地LLM部署：2025完整指南 - Ollama、vLLM、LocalAI、Jan、LM Studio等