AI

人工智能的民主化已经到来。
借助像 Llama 3、Mixtral 和 Qwen 这样的开源大语言模型（LLM），团队现在可以使用消费级硬件构建强大的 AI 基础设施 - 在降低成本的同时，仍能完全控制数据隐私和部署。

检索增强生成（RAG） 已经远远超越了简单的向量相似性搜索。 LongRAG、Self-RAG 和 GraphRAG 代表了这些能力的前沿。

FLUX.1-dev 是一款功能强大的文本到图像模型，能够生成令人惊叹的结果，但其24GB以上的内存需求使得在许多系统上运行变得具有挑战性。 FLUX.1-dev的GGUF量化版本 提供了一种解决方案，将内存使用量减少约50%，同时保持出色的图像质量。

在 Docker Model Runner 中配置上下文大小 比它应该的要复杂得多。

Black Forest Labs 已发布 FLUX.1-Kontext-dev，这是一款先进的图像到图像 AI 模型，它可以通过文本指令增强现有图像。

Docker Model Runner 是 Docker 官方用于本地运行 AI 模型的工具，但
在 Docker Model Runner 中启用 NVidia GPU 加速
需要特定的配置。

令牌优化是区分成本效益高的LLM应用与耗费预算的实验的关键技能。

Immich 是一款革命性的开源、自托管照片和视频管理解决方案，它赋予你对记忆的完全控制权。凭借与 Google Photos 相媲美的功能，包括人工智能驱动的人脸识别、智能搜索和自动手机备份，同时确保你的数据在你自己的服务器上保持私密和安全。

我找到了一些关于GPT-OSS 120b在三个不同平台上运行的性能测试结果：NVIDIA DGX Spark、Mac Studio和RTX 4080。Ollama库中的GPT-OSS 120b模型大小为65GB，这意味着它无法装入RTX 4080（或更新的RTX 5080的16GB显存中。

模型上下文协议（MCP）正在革新AI助手与外部数据源和工具的交互方式。在本指南中，我们将探讨如何构建 MCP 服务器（Python），重点介绍网络搜索和爬取功能的示例。

Docker Model Runner (DMR) 是 Docker 官方用于本地运行 AI 模型的解决方案，于 2025 年 4 月推出。此快速参考提供了所有关键命令、配置和最佳实践的快速查阅。

在本地运行大型语言模型 (LLMs) 已成为隐私保护、成本控制和离线功能的重要趋势。 2025 年 4 月，Docker 推出了 Docker Model Runner (DMR)，这是其用于 AI 模型部署的官方解决方案，标志着该领域的重大转变。

人工智能的未来不仅仅是更聪明的模型，更是更聪明的硅芯片。
专为LLM推理设计的硬件正在引发一场革命，这与比特币挖矿转向ASICs的转变非常相似。

NVIDIA DGX Spark 是真实存在的，将于 2025年10月15日 开售，目标用户是需要 本地大型语言模型（LLM）工作 的 CUDA 开发者，配备集成的 NVIDIA AI 套件。美国建议零售价为 3,999美元；由于增值税和渠道因素，英国/德国/日本 的零售价更高。澳大利亚/韩元 的公开标价 尚未广泛发布。

本指南全面概述了可用于 Ollama 的 Go SDK，并比较了它们的功能集。

以下是 Qwen3:30b 和 GPT-OSS:20b 的比较，重点聚焦于指令遵循和性能参数、规格和速度：