Skip to content
← Back to job listings

大模型评测工程师(J17932)

Transsion Holdings · 上海市

External listingFull-timeover 1 year ago

About The Role

  1. 负责大语言模型(LLM)及ASR(语音识别)、TTS(语音合成)、NLU(自然语言理解)等模块的评测体系构建,包括效果评估、功能验证、边界场景测试等。
  2. 设计多维度评测方案,制定自动化评测工具开发策略,提升评测效率与覆盖率。
  3. 深入分析模型输出结果,定位性能瓶颈并提出优化建议,推动算法迭代。
  4. 与算法、产品、数据团队协作,输出可量化的评测报告,指导模型部署与应用。
  5. 持续跟踪行业最新评测方法(如Prompt Engineering、红队测试等),探索创新评测范式
  6. 计算机、人工智能、语言学等相关专业本科及以上学历,3年以上模型评测经验。
  7. 精通ASR/TTS/NLU领域评测指标(如WER、MOS、BLEU、ROUGE、意图识别准确率等)。
  8. 熟悉PyTorch/TensorFlow框架,熟练使用Python及主流评测工具(如ESPnet、Fairseq)。
  9. 具备全链路评测能力,包括测试方案设计、数据构造、自动化脚本开发、结果分析。
  10. 良好的规划和协作能力。

加分项:

  • 有开源项目评测经验(如Whisper、VITS、BERT系列模型)
  • 熟悉多语种/方言/领域垂类模型评测
  • 英语能作为工作语言

This is an external listing. JobSpring does not represent or verify the employer. Report this listing