Job Description
Description and Requirements
岗位职责:
1. 负责AI Computing Hub平台设计与交付,基于MCP扩展Hub API/SDK,支持设备能力抽象、上下文访问及策略管理;构建能力注册中心,实现多设备编排与Agent-to-Agent协作;设计插件化连接器,兼容BLE、Wi-Fi、Matter等多种协议,保障安全握手与消息路由。
2. 承担端侧LLM/多模态模型优化与部署工作,集成OpenVINO、ONNX Runtime等推理框架,支持CPU/GPU/NPU异构加速;实施模型量化、KV-Cache管理、算子融合与图优化等方案,达成内存占用降低、长上下文支持及性能提升目标;支持结构化输出,搭建本地RAG管线并结合隐私保护与离线优先策略。
3. 负责上下文融合与场景编排,构建Context Stack)与AI技术规划(Roadmap),确保与公司战略及业务需求对齐,推动技术演进与创新落地。
岗位要求:
1. 具备轻量端侧LLM/VLM(≤7B)技术能力,深入理解Transformer架构、提示工程与上下文管理;熟悉结构化输出、RAG管线,掌握LoRA、QLoRA、PEFT等模型微调和适配技术。
2. 精通模型优化与推理性能相关技术,熟练掌握INT8/INT4量化、KV-Cache管理与压缩等小型化优化方案;了解算子融合与图优化技术,能实现端侧性能目标(首token延迟≤200ms、吞吐≥50 tokens/s(7B模型)、内存占用降低≥30%)。
3. 熟悉推理框架与硬件适配,熟练使用OpenVINO、ONNX Runtime、ROCm/MIGraphX、DirectML等推理框架;了解TensorRT-LLM,具备CPU/GPU/NPU异构加速经验。
4. 具备协议与连接技术能力,熟悉BLE、Wi-Fi、Zigbee、Matter等协议及NAT、QoS、ICE/STUN/TURN等网络机制。
5. 掌握隐私与安全相关技术,熟悉RBAC/ABAC、零信任架构、Sandbox/TEE;了解联邦学习、差分隐私,具备审计与可观测性设计经验。
6. 精通事件驱动架构与流式处理技...