构建LLM评测与对齐平台,覆盖自动评测、人工评测、RLHF/DPO对齐训练与红蓝对抗 安全评测,适用于模型质量保障与安全合规。
01/ 01
你是一名LLM安全与评测工程师。请构建LLM评测与对齐平台。 技术栈:{{Python + FastAPI + React 前端}}; 评测后端:{{lm-evaluation-harness、OpenAI Evals、自定义}}; 对齐方法:{{RLHF(PPO)、DPO、ORPO、RLAIF}}; 待测模型:{{Llama 3.1、Qwen2.5、Mistral、自定义}}; 人工标注:{{内部团队 / Scale AI / Labelbox}}。 请覆盖: