Category

工程

这个分类下共有 23 篇文章。

V100 单卡部署 Qwen3.8-27B（AWQ）到 vLLM 完整实战 V100 单卡部署 Qwen3.827B（AWQ）到 vLLM 完整实战 面向需要在老架构 GPU（NVIDIA V100，SM70）上本地部署大模型的读者。全程基于真实踩坑整理，每一步给出可复制的命令和解释。文中所有敏感信息（IP、账号、… 工程 AILLMDeployment 大模型OCR落地终极排坑：OvisOCR2+vLLM从报错到批量稳定部署全过程 最近在服务器部署OvisOCR2超强图文OCR模型，原本以为是简单的模型推理部署，结果接连踩遍 vLLM 新版本引擎、FlashInfer编译、多模态解析、Python多进程兼容等全套坑点。 全网很少有完整的落地排坑教程，特此记录本次从零调… 工程 AILLMDeployment 基于AI的前端UI自动化测试 一、前言 前端应用开发后希望能够借助AI的能力来高效测试，但是在边界条件和异常情况的处理相对麻烦。尤其是现在代码中AI开发的比例越来越大，人工编写测试案例的成本很高，所以我期望能够借助AI生成对应的测试案例并自动进行测试。通过一段时间的调研… 工程 AICodingEngineering 从零搭建 AI 代码审查服务：一份前端也能看懂的 Python 学习笔记 一份写给前端开发者的 Python 小项目实战指南 1. 实战：搭建 AI Code Review 自动化流水线 2. GitLabRunner + AI 代码审查服务 + 远程大模型 全套部署运维实战 缘起：为什么我要写这份笔记？ 前几天… 工程 AICodingEngineering AI 时代，前端工程化要重做一遍 这两年前端圈有个挺微妙的变化。 以前我们讨论工程化，聊的是： monorepo 怎么拆； 组件库怎么治理； CI 怎么提速； ESLint 怎么统一； E2E 测试怎么不 flaky； 设计系统怎么落地； 构建产物怎么优化。 现在一提 AI… 工程 AICodingEngineering AI Agent 开发实战：2026年主流框架与MCP协议深度解析 2026年，AI Agent 已经从 "概念热词" 变成了真正的生产力工具。但如果你打开 GitHub 搜索 "AI Agent framework"，你会被上百个项目淹没——从 LangChain 到 CrewAI，从 AutoGPT 到… 工程 AIMCPProtocolTools MCP StreamableHTTP 协议 421 Misdirected Request 异常深度排查与解决方案 一、问题概述 基于 FastMCP 开发 MCP 工具网关服务时，本地直连服务端口调用正常，经过 Nginx 反向代理转发后持续返回 421 Misdirected Request，伴随日志 Invalid Host header: xxx… 工程 AIMCPProtocolTools 实战：搭建 AI Code Review 自动化流水线 背景 最近刚加入一个新团队，跑了一段时间后发现代码审查这块挺拖后腿的。MR 提上去等半天没人看，催了又显得不礼貌；好不容易有人看了，又经常是"LGTM"凑数，真正的问题反而没人指出来。 作为前端负责人，我觉得得想个办法把这个环节自动化一部分… 工程 AICodingEngineering 双A100部署Qwen3.6-27B：两轮vLLM调优，128K吞吐提升20%的完整记录 双 A100 部署 Qwen3.627B：两轮 vLLM 调优，128K 吞吐提升 20% 的完整记录 系列：AI实战落地 · 推理基座（第 1 篇） 硬件：双 NVIDIA A100SXM480GB（NVLink） · 软件：vLLM v… 工程 AILLMDeployment DeepSeek V4-Vllm部署：高效长上下文推理的实现 vLLM 现已支持 DeepSeek V4 系列模型（deepseekai/DeepSeekV4Prohttps://huggingface.co/deepseekai/DeepSeekV4Pro 和 deepseekai/DeepSeek… 工程 AILLMDeployment vLLM 部署 Qwen3.6 35B A3B FP8 踩坑：tool-call-parser 选错，模型假装自己不会调工具 我部署 Qwen3.635BA3BFP8（MoE3B）2天，测工具调用一直是 0 分，以为模型不行 直到昨天发现是 vLLM 的 toolcallparser hermes 和模型 XML 格式不匹配 改成 toolcallparser q… 工程 AILLMDeployment vLLM 推理加速深度解析：从PagedAttention原理到生产部署实战 大语言模型LLM的推理性能一直是制约其大规模应用的核心瓶颈。传统的Hugging Face Transformers推理方式，在面对高并发请求和长上下文场景时，往往会出现显存利用率低、响应延迟高、吞吐量不足等问题。据统计，传统推理框架的显存… 工程 AILLMDeployment AI 驱动的自动化测试：利用 LLM 自动修复测试断言失败 目录 Outline 一、 测试维护的「噩梦」：为什么 UI 测试总是失效？ 二、 核心原理：基于语义分析的「自愈」测试 三、 实战 1：捕获失败现场并提取上下文 四、 实战 2：设计 Prompt 让 LLM 识别「文案变更」与「Bug」… 工程 AICodingEngineering 从 MCP 到 Harness：AI Agent 工程化的核心技术栈解析 当 AI 从"玩具"走向"生产工具"，我们需要什么样的工程化体系？ 一、引言：AI 开发的工程化困境 过去两年，AI 编程工具经历了爆发式增长。从 GitHub Copilot 到 Claude Code，从 Cursor 到 JetBra… 工程 AIMCPProtocolTools AI 驱动的自动化代码 Review：从静态扫描到语义理解 目录 Outline 一、 代码审查的演进：从人工肉眼到语义感知 二、 AI Review 的核心逻辑：如何让 LLM 「看懂」变更？ 三、 实战 1：利用 GitHub Actions 构建 AI Reviewer 机器人 四、 实战 2… 工程 AICodingEngineering 每天一个 AI Skill：如何编写并部署你的第一个自定义 MCP Server 一、背景：为什么需要自定义 MCP？ 虽然社区已经提供了很多 MCP Server，但在实际工作中，你可能需要： 访问公司内部 API：例如查询内部的排期系统或文档库。 操作特定的本地工具：例如自动触发某个特定的脚本或编译流程。 集成私有数… 工程 AIMCPProtocolTools 从零实现ollama本地大模型可视化+内网穿透 在大模型普及的当下，我们习惯了使用在线聊天机器人，但在线服务往往受网络、隐私、算力限制——比如敏感数据不敢上传、高峰期卡顿、需要依赖外网。作为前端开发者，即便本地部署大模型不是核心工作，掌握这一技能也能带来诸多惊喜：既能深入理解大模型的运行… 工程 AILLMDeployment intel显卡本地部署大模型 这份教程专门为 Intel Arc B580 12GB 用户定制。通过本教程，你可以将这显卡转化为一个强大的 AI 工作站，流畅运行 Google 最新的 Gemma 3 12B 模型。 第一阶段：系统环境整备（打地基） 在开始之前，请确保… 工程 AILLMDeployment 大模型企业级部署方案-vllm 目前主流的大模型部署框架以llama.cpp、Ollama和Vllm为主。 llama.cpp 是使用没有任何依赖关系的纯 C/C++ 实现，性能很高，可定制化和优化项非常多，但也因为底层是C语言，直接导致上手难度极高。 Ollama 之所… 工程 AILLMDeployment 大模型安全对抗性测试技术 摘要 大规模语言模型（Large Language Model, LLM） 已成为企业智能化转型的核心算力能力，涵盖客服运营、金融风控、物流调度与自动决策等关键业务场景。然而，随着模型能力快速提升，其安全风险亦呈现多样化与复杂化趋势。模型对… 工程 AICodingEngineering Agent 开发必学 —— LangChain 生态、MCP 协议与 SOP 落地实战 引言 在 AI Agent 开发从“写着玩”进入“工业化落地”的阶段后，开发者面临的挑战已不再是如何调用 API，而是如何构建一个可控、可扩展、且具备标准接口的系统。 这篇文章将结合 LangChain 最新生态、MCP Model Con… 工程 AIMCPProtocolTools 使用 VLLM 推理框架部署 AI 大模型 1. 环境说明 Python 环境：建议使用 Python 3.10 3.12 推荐使用 uv 虚拟环境，避免依赖冲突 安装 uv 2. 魔搭（ModelScope）相关命令 安装 ModelScope 下载模型 3. 大模型部署命令（VL… 工程 AILLMDeployment 基于大模型的自动化代码审查工具：让 AI 成为你的 Code Review 助手 🚀 还在为代码审查效率低而烦恼？还在为团队成员代码质量参差不齐而头疼？今天给大家分享一个基于大模型的自动化代码审查工具，支持 GitLab、GitHub、Gitea 三大平台，让 AI 帮你做 Code Review！ 📖 项目背景 在软… 工程 AICodingEngineering