“AI智能体与大模型工程”

可视化流程构建器（前端）：拖拽节点画布（React Flow/X6）含缩放、平移、小地图，

输入理解：文本（分词、意图分类、实体抽取），图像（目标检测、OCR、

基准套件管理：精选基准（MMLU、GSM8K、HumanEval、TruthfulQA、MT-Bench），

人工评测：成对比较UI（A vs B）含量规，单轮绝对评分（Likert量表），

沙箱执行：代码执行工具在隔离Docker/Firecracker容器运行，资源限制（CPU、

内置工具库：网页搜索（SerpAPI/Tavily）、HTTP请求、代码解释器，文件读写

数据集管理：上传数据集（图像、文本、音频、视频）含元数据，数据集版本化、

标注UI：文本（分类、NER、关系抽取、摘要评分），图像（边界框、多边形、

标注工作流：项目配置（标签Schema、说明、资格测试），任务分配

合成数据生成：文本合成（LLM生成含风格/主题控制、过滤），图像合成

质量控制：标注者间一致性（IAA：Cohen's kappa、Krippendorff's alpha），

长上下文问答策略：Map-reduce（每块作答再聚合），Refine（逐块迭代更新

结构化信息抽取：抽取实体、关系、键值对含Schema，表格问答基于抽取表格，

评测：长文档问答基准（LongBench、RULER），不同位置的大海捞针测试，

MCP协议核心：实现JSON-RPC 2.0传输层（stdio、SSE、streamable-http），

可观测性：追踪每次MCP调用（trace_id传播到上游），指标（每工具调用量、

追踪SDK：主流LLM库自动插桩（LangChain、LlamaIndex、OpenAI SDK），自定义

追踪UI：追踪时间线（LLM调用、工具调用、检索步骤瀑布图），Span详情

自动化AI代码评审流水线

构建接入PR流程的AI代码评审流水线，融合静态扫描与大模型评审，输出内联评论与 自动修复PR，并按仓库策略设置阻断门禁。

提示词注入防护工程

为大模型应用设计并验证提示词注入纵深防护体系；注入测试仅在书面授权的指定测试端点或授权红队环境中进行，目标为防御…