Tag

#LLM

这个标签下共有 11 篇文章。

V100 单卡部署 Qwen3.8-27B（AWQ）到 vLLM 完整实战 V100 单卡部署 Qwen3.827B（AWQ）到 vLLM 完整实战 面向需要在老架构 GPU（NVIDIA V100，SM70）上本地部署大模型的读者。全程基于真实踩坑整理，每一步给出可复制的命令和解释。文中所有敏感信息（IP、账号、… 工程 AILLMDeployment 大模型OCR落地终极排坑：OvisOCR2+vLLM从报错到批量稳定部署全过程 最近在服务器部署OvisOCR2超强图文OCR模型，原本以为是简单的模型推理部署，结果接连踩遍 vLLM 新版本引擎、FlashInfer编译、多模态解析、Python多进程兼容等全套坑点。 全网很少有完整的落地排坑教程，特此记录本次从零调… 工程 AILLMDeployment 双A100部署Qwen3.6-27B：两轮vLLM调优，128K吞吐提升20%的完整记录 双 A100 部署 Qwen3.627B：两轮 vLLM 调优，128K 吞吐提升 20% 的完整记录 系列：AI实战落地 · 推理基座（第 1 篇） 硬件：双 NVIDIA A100SXM480GB（NVLink） · 软件：vLLM v… 工程 AILLMDeployment DeepSeek V4-Vllm部署：高效长上下文推理的实现 vLLM 现已支持 DeepSeek V4 系列模型（deepseekai/DeepSeekV4Prohttps://huggingface.co/deepseekai/DeepSeekV4Pro 和 deepseekai/DeepSeek… 工程 AILLMDeployment vLLM 部署 Qwen3.6 35B A3B FP8 踩坑：tool-call-parser 选错，模型假装自己不会调工具 我部署 Qwen3.635BA3BFP8（MoE3B）2天，测工具调用一直是 0 分，以为模型不行 直到昨天发现是 vLLM 的 toolcallparser hermes 和模型 XML 格式不匹配 改成 toolcallparser q… 工程 AILLMDeployment LLM提示词注入攻防全解析：真实事故案例与防御实践 在AI应用爆炸式普及的今天，一行精心构造的文字，就可能让价值数百万美元的AI系统"叛变"——提示词注入（Prompt Injection）已连续在OWASP LLM Top 10中高居榜首。这篇文章从攻击者视角拆解六大注入类型，用真实事故还… AI AISecurityLLM vLLM 推理加速深度解析：从PagedAttention原理到生产部署实战 大语言模型LLM的推理性能一直是制约其大规模应用的核心瓶颈。传统的Hugging Face Transformers推理方式，在面对高并发请求和长上下文场景时，往往会出现显存利用率低、响应延迟高、吞吐量不足等问题。据统计，传统推理框架的显存… 工程 AILLMDeployment 从零实现ollama本地大模型可视化+内网穿透 在大模型普及的当下，我们习惯了使用在线聊天机器人，但在线服务往往受网络、隐私、算力限制——比如敏感数据不敢上传、高峰期卡顿、需要依赖外网。作为前端开发者，即便本地部署大模型不是核心工作，掌握这一技能也能带来诸多惊喜：既能深入理解大模型的运行… 工程 AILLMDeployment intel显卡本地部署大模型 这份教程专门为 Intel Arc B580 12GB 用户定制。通过本教程，你可以将这显卡转化为一个强大的 AI 工作站，流畅运行 Google 最新的 Gemma 3 12B 模型。 第一阶段：系统环境整备（打地基） 在开始之前，请确保… 工程 AILLMDeployment 大模型企业级部署方案-vllm 目前主流的大模型部署框架以llama.cpp、Ollama和Vllm为主。 llama.cpp 是使用没有任何依赖关系的纯 C/C++ 实现，性能很高，可定制化和优化项非常多，但也因为底层是C语言，直接导致上手难度极高。 Ollama 之所… 工程 AILLMDeployment 使用 VLLM 推理框架部署 AI 大模型 1. 环境说明 Python 环境：建议使用 Python 3.10 3.12 推荐使用 uv 虚拟环境，避免依赖冲突 安装 uv 2. 魔搭（ModelScope）相关命令 安装 ModelScope 下载模型 3. 大模型部署命令（VL… 工程 AILLMDeployment