About The Role

（一）端侧大模型推理优化与部署
负责大模型在边缘设备（车载终端、IoT 设备、机器人、边缘网关等）的轻量化改造，运用 INT4/INT8 低比特量化、剪枝、稀疏化、知识蒸馏等技术，降低模型算力、内存与功耗占用。
基于 TensorRT-LLM、MNN-LLM、llama.cpp、ONNX Runtime 等框架做二次开发与定制，适配高通、联发科、海思、NVIDIA Jetson 等芯片的 NPU/GPU/CPU 特性，开发定制化算子与融合策略。
优化端侧推理性能，通过投机推理、FlashAttention、KVCache 高效管理、多线程并发调度等技术，保障模型实时响应（如车载场景毫秒级推理、IoT 设备低延迟交互）。
解决端侧推理中的兼容性问题，处理异构硬件协同调度、内存碎片化等核心难点。
（二）端侧 Agent 系统构建与优化
设计并开发边缘场景 AI Agent 运行框架，涵盖感知解析、任务规划、工具调用、短期 / 长期记忆管理等核心模块，支持设备自主决策与场景化交互。
构建多 Agent 协同机制与任务编排逻辑，解决边缘多设备联动、多任务并行的资源冲突问题，实现 Agent 会话状态持久化与断线恢复。
优化 Agent 端侧运行效率，通过上下文精简、轻量化决策算法、动态资源调度等技术，平衡自主决策能力与边缘设备资源限制。
集成端侧多模态交互能力（ASR/TTS、视觉识别、传感器数据解析），实现语音、图像、环境数据等多源输入的智能响应与任务执行。
（三）端侧 RAG 技术落地与调优
搭建适配边缘设备的轻量化 RAG 系统，负责本地知识库的分片存储、增量更新与版本管理，支持文本、结构化传感器数据等多类型知识的高效管理。
选型并适配端侧轻量级向量数据库（如 Qdrant 轻量版、FAISS 嵌入式版、Chroma Edge），设计高效向量索引结构，优化检索延迟与命中率。
协同端侧大模型与 RAG 链路，通过 prompt 工程、检索结果重排序、生成内容过滤等技术，提升问答准确性与知识时效性，弥补模型上下文不足问题。
开发知识库安全管控机制，包含数据加密存储、权限分级、噪声过滤与错误知识校验，保障端侧数据安全与 RAG 输出可靠性。
（四）端侧 MCP 服务开发与适配
基于模型上下文协议（MCP）开发端侧 MCP 服务器，实现边缘设备传感器、执行器、第三方工具的标准化注册、发现与管理，抽象为结构化接口供大模型 / Agent 调用。
适配多传输协议（HTTP/SSE/stdio）与数据规范（JSON-RPC 2.0），优化端侧设备与大模型的低开销通信，控制通信抖动低于 100µs，保障断线重连稳定性（5 分钟内无需重新握手）。
构建 MCP 服务安全体系，通过 OPA 策略实现基于角色的访问控制（RBAC），搭配 TLS 1.3 加密与调用日志审计，防止硬件工具非法调用与数据泄露。
适配边缘异构硬件，通过 libiio、libgpiod、SPI/I2C 等接口实现 MCP 服务器与硬件的底层交互，支持工业传感器数据读取、执行器精准控制等实时场景。
（五）工程化落地与全链路保障
打通 “大模型推理 + Agent 决策 + RAG 检索 + MCP 工具调用” 的端侧协同链路，形成 “感知 - 决策 - 执行 - 反馈” 的闭环系统。
构建端侧服务的轻量化部署方案，基于 Docker/OCI 构建精简镜像，支持边缘设备的离线部署、增量升级与故障自愈。
搭建性能监控与运维体系，跟踪推理延迟、Agent 任务成功率、RAG 检索准确率、MCP 调用可用性等核心指标，快速定位并解决线上问题。
参与端侧 AI 技术预研，跟进大模型轻量化、边缘计算、Agent/RAG/MCP 等领域的前沿技术，沉淀可复用的工具链与解决方案。
（一）基础条件
本科及以上学历，计算机科学与技术、电子工程、自动化、人工智能等相关专业，硕士学历优先；3 年以上边缘计算、端侧 AI 开发或大模型部署优化经验。
精通 Python、C/C++ 编程语言，熟练掌握 Linux 系统编程（进程 / 线程 / 内存管理），熟悉，具备 Jetson、高通、工业边缘盒等设备的实战经验。
熟练使用 CMake、Git、Docker 等工程化工具，具备高质量底层代码编写能力与跨平台兼容性开发经验。
（二）核心技术能力
大模型轻量化与推理优化：熟悉至少一种端侧推理框架（TensorRT-LLM、MNN-LLM、llama.cpp、TFLite），具备低比特量化、算子融合、内存优化等实战经验；了解 Llama、Qwen、Phi 等主流大模型架构特点。
Agent 与 RAG 技术：熟悉 LangChain、LlamaIndex、AutoGPT 等 Agent 开发框架，有端侧 Agent 或轻量化 RAG 系统落地案例；掌握向量数据库原理与应用，了解检索与生成协同优化技巧。
MCP 与硬件交互：深入理解 MCP 协议规范，有 MCP 服务器 / 客户端开发经验；熟悉 JSON-RPC 2.0、HTTP 等通信协议，掌握 libiio、libgpiod 等硬件操作库，能实现硬件功能的标准化封装。
性能优化能力：具备端侧算力调度、内存碎片化治理、多线程并发优化、网络延迟控制等实战经验，能通过工具（perf、valgrind）定位并解决性能瓶颈。
（三）加分项
有车载、工业 IoT、机器人等边缘场景的 Agent/RAG/MCP 全链路落地经验，熟悉场景化合规要求（如车规级功能安全、工业数据保密）。
有异构硬件（NPU/DSP/MCU）协同调度经验，或熟悉多模态数据（语音、图像、传感器）在端侧的处理与融合技术。

This is an external listing. JobSpring does not represent or verify the employer. Report this listing

AI平台研发-边缘智能体平台开发岗(J29273)

About The Role