LLM 部署优化——vLLM、TGI、SGLang 三大推理框架实测
LLM 部署优化——vLLM、TGI、SGLang 三大推理框架实测 自部署 LLM 选哪个推理框架?vLLM、TGI、SGLang 性能、吞吐、显存实测对比。 为什么需要推理框架直接用 transformers 跑 LLM——慢、显存占用高、并发差。 实测:Qwen-7B 单请求: transformers:首 token 800ms,生成 50 tokens/s vLLM:首 token 80ms,生成 200 tokens/s 差距 5-10 倍 推理框架的核心优化: KV Cache 管理:PagedAttention(vLLM 首创) 批处理:Continuous Batching 量化:INT8 / INT4 加速 并行:Tensor Parallel / Pipeline Parallel 三大框架的定位vLLM最流行的高吞吐推理框架—— UC Berkeley 出品 PagedAttention 首创 适合:高并发、生产环境 TGI(Text Generation Inference)HuggingFace 官...
AI 工作流自动化——n8n + LLM 实战
AI 工作流自动化——n8n + LLM 实战 把 AI 嵌入工作流,自动化重复任务。n8n + LLM 是 2025 年最强组合。 什么是 AI 工作流自动化AI 工作流 = 多个工具 + LLM + 自动化编排。 经典场景: 用户提交工单 → AI 自动分类 → 分配给对应团队 → 通知 Slack RSS 新文章 → AI 摘要 → 发到 Discord → 归档到 Notion 邮件新消息 → AI 判断重要性 → 紧急的发短信,普通的归档 核心:AI 不替代人,而是嵌在流程的”决策点”上。 为什么选 n8n主流工作流工具对比 工具 开源 AI 集成 易用性 成本 n8n ✅ ✅ 原生 中 免费(自部署) Zapier ❌ ✅ 高 $20+/月 Make ❌ ✅ 中 $10+/月 Dify ✅ ✅ 极强 中 免费 Coze ❌ ✅ 高 免费 n8n 的优势: 开源、可私有部署 400+ 集成(几乎所有主流工具) AI 节点原生支持 可视化编排,逻辑清晰 自部署免费 n8n 的局限: 学习曲线比 Zap...
道德经里那段让我半夜睡不着的话
道德经里那段让我半夜睡不着的话 第一次读《道德经》是 22 岁，觉得老子是个”消极避世”的老头。今年重读，才发现我以为我懂的那些，全没懂。 大部分人读《道德经》读的都是鸡汤《道德经》最出名的几句话： “上善若水” “道法自然” “无为而治” “知足者富” 这几句话被各种心灵鸡汤、领导力培训、成功学借用了无数遍，但大部分都读反了。 比如”上善若水”——很多解读是”做人要像水一样，柔能克刚”。这其实是个很浅的解读。 老子说”水善利万物而不争”——“不争”不是”不与人争”，是”不强行把自己的意志加在万物上”。 真正让我半夜睡不着的，是这一段《道德经》第十一章： 三十辐共一毂，当其无，有车之用。埏埴以为器，当其无，有器之用。凿户牖以为室，当其无，有室之用。故有之以为利，无之以为用。 白话：三十根辐条汇聚到一个毂中间，正是因为中间是空的，才能装上车轴、才能转。揉和陶土做成器皿，正是因为中间是空的，才能装东西。开凿门窗建造房屋，正是因为中间是空的，才能住人。所以”有”给人便利，”无”发挥了作用。 我第一次读这段是在通勤地铁上，读完之后整夜没睡着。 我突然理解了我活过的所有事二十几岁...
MCP(Model Context Protocol)实战——AI 工具集成的新标准
MCP(Model Context Protocol)实战——AI 工具集成的新标准 MCP 是 Anthropic 推出的”AI 时代的 USB-C”。一次接入,所有模型都能用。 什么是 MCPModel Context Protocol(MCP) 是 2024 年底由 Anthropic 开源的协议。 核心思想:为 AI 模型和外部工具/数据之间,定义统一标准。 类比 USB-C: 以前:每个设备要单独接各种线(HDMI、VGA、DP…) 现在:一个 USB-C 接所有 MCP = AI 工具的 USB-C MCP 解决了什么问题之前:每个模型都要单独集成工具1234GPT-4o 调工具:用 OpenAI 的 function calling 格式Claude 调工具:用 Anthropic 的 tool use 格式Gemini 调工具:用 Google 的格式... 问题: 写一个工具,要在多个 SDK 里写多份 模型切换成本高 工具生态割裂 现在:MCP 统一接口12工具开发者:写一份 MCP server所有模型:都能调 一次开发,处...
重读"知行合一"——王阳明对我这些年的影响
重读”知行合一”——王阳明对我这些年的影响 2018 年第一次读《传习录》，觉得”知行合一”是心灵鸡汤。2025 年重读，突然发现——这不就是我活过这些年的真实写照吗。 二十几岁的我：把”知”和”行”分开刚毕业那几年，我有一种很常见的心态：“理论上懂”和”实际上能做到”是两回事。 比如： 看了理财书觉得自己懂投资了 看了健康博主觉得自己懂养生了 看了沟通课程觉得自己懂社交了 但真到面对生活时： 投资亏了才发现自己”不懂” 体检报告异常才发现自己”不懂” 关系出问题才发现自己”不懂” 那时候我才意识到：很多”知”是假的”知”——是”听说过”的”知”，不是”真懂”的”知”。 王阳明说的”知行合一”到底是什么意思王阳明在《传习录》里讲得很直接： 知而不行，只是未知。 翻译成大白话：你没有真做过的”懂”，不是真懂。 他举了个例子：一个人说”知道孝顺父母”，但他对父母不好——那他就不是真知道孝顺。”知道”和”做到”是同一件事，不是两件事。 听起来很鸡汤对吧？但放到生活上特别对。 我活过这些年验证过的”知行合一”1. “知道要健康”和”真的健康”我之前看过无数篇”养生”文章：早...
Cursor vs Claude Code vs Copilot——AI 编程助手横评
Cursor vs Claude Code vs Copilot——AI 编程助手横评 AI 编程助手横评:Cursor、Claude Code、GitHub Copilot 谁更强?我从真实项目出发对比。 三款工具的定位CursorAI-first IDE(基于 VSCode)—— 内嵌 AI 到编辑器的每个角落 Cmd+K 重构、Cmd+L 对话、Tab 补全 适合:重度 AI 用户 Claude Code(Anthropic CLI)命令行 AI 编程助手—— 在终端用自然语言操作代码 支持 Agent 模式(自动改多文件) 适合:CLI 党、自动化场景 GitHub Copilot老牌 AI 编程助手—— VSCode/JetBrains 插件 主要做代码补全 + Chat 适合:补全为主,偶尔对话 详细对比1. 代码补全最基础也最重要的能力——写代码时自动补全。 Copilot 最强: 行内补全最自然 反应速度 < 100ms 准确率高(单行 70%+ 接受率) Cursor 次之: 补全速度也不错 但”全行替换”太多,有时打断思路 ...
向量数据库横评——Chroma、Milvus、Qdrant、Weaviate 怎么选
向量数据库横评——Chroma、Milvus、Qdrant、Weaviate 怎么选 向量数据库是 RAG 的核心组件。Chroma、Milvus、Qdrant、Weaviate 4 个主流选哪个? 我的实测对比告诉你答案。 四个产品的定位Chroma轻量级、嵌入式—— 0 部署(直接 pip install) 适合:原型开发、小规模数据 定位:”Python 库的向量数据库” Milvus大规模、生产级—— 分布式架构 适合:百万到百亿向量 定位:”企业级向量数据库” QdrantRust 实现、高性能—— 单节点性能强 适合:中等规模、需要性能 定位:”性能优先的向量数据库” Weaviate全功能、内置模块—— 内置向量化、hybrid 检索 适合:需要开箱即用 定位:”all-in-one 向量平台” 详细对比1. 部署难度Chroma:⭐⭐⭐⭐⭐ 123pip install chromadbimport chromadbclient = chromadb.PersistentClient(path="./data") 0 部署,像...
GraphRAG 实战——用知识图谱增强 RAG 检索
GraphRAG 实战——用知识图谱增强 RAG 检索 基础 RAG 是”找相似文档”,GraphRAG 是”理解实体关系”。跨文档推理场景下,效果提升 40%。 为什么需要 GraphRAG传统 RAG 的局限基础 RAG 用向量检索——找”语义相似”的文档片段。 但有些问题需要多跳推理: 12345678910111213141516用户问题:"我们公司的供应链中,哪些供应商受加州法规影响?"传统 RAG: 1. embedding("供应链 加州法规") → 检索 2. 找到"加州法规"、"供应链总览"等文档 3. 但这些文档**没有直接关联**! 4. LLM 答不全 GraphRAG: 1. 知识图谱里有: 公司 → 供应商A、B、C 供应商A → 在加州 供应商B → 在德州 供应商C → 在加州 2. 通过图查询直接得到:A 和 C 受影响 3. LLM 基于结构化结果回答 GraphRAG 的核心优势:跨实体、跨文档的推理。 Grap...