“LLM内存管理”

分类验证-红队LLM安全评估

AI节点实现：LLM节点（模型选择、Prompt模板变量插值、流式），嵌入+向量

可观测LLM链路追踪系统

构建可观测LLM链路追踪系统，追踪LLM调用、工具调用、Token与成本，支持回放、 调试与性能分析，适用于LLM应用的可观测性与成本治理…

合成数据生成：文本合成（LLM生成含风格/主题控制、过滤），图像合成

追踪UI：追踪时间线（LLM调用、工具调用、检索步骤瀑布图），Span详情

AI 应用开发（RAG/Agent/LLM 工程）

构建生产级 RAG/Agent：切块、检索、评估、成本与防注入一站式设计。

推理服务：统一OpenAI兼容API封装vLLM/TGI/TRT-LLM，continuous batching与

分发：发布VS Code市场与JetBrains插件仓库，企业自托管LLM代理含鉴权与配额。

实时与流式：WebSocket低延迟流式（打断/抢话），部分ASR结果+增量LLM解码，

测试与部署：单元测试Schema校验与参数清洗，集成测试用Mock LLM跑ReAct循环，

A/B测试与评估：定义实验（对照组vs变体、流量分割），LLM-as-judge自动评分

Agentic NPC Social Simulation Layer

LLM驱动的智能体NPC层：目标、记忆、关系与受约束对话，分层仿真控成本。适用于追求涌现式生态与鲜活城镇的角色扮演游戏。

AI Agent / Tool-Use System Builder

Designs reliable LLM agents: tool contracts, planning loops, guardrails, state machines, and evaluation of multi-step tasks.

Prompt Engineering Management Platform

构建提示词工程管理平台，支持提示词版本管理、A/B测试、变量模板化与效果评估，适用于团队协作的LLM应用。

提示词工程管理平台

构建提示词工程管理平台，支持提示词版本管理、A/B测试、变量模板化与效果评估， 适用于团队协作的LLM应用提示词全生命周期管理…

RAG Knowledge Base Question Answering System

构建基于检索增强生成的知识库问答系统，支持多格式文档摄入、混合检索、引用溯源与对话式交互。

Prompt Injection Defense Engineering

为大模型应用设计并验证提示词注入纵深防护体系；注入测试仅在书面授权的指定测试端点或授权红队环境中进行，目标为防御…

Multi-Agent Collaboration Orchestration Framework

构建多智能体协作编排框架，支持任务分解、角色分工、消息总线与结果聚合，适用于复杂任务自动化与团队型AI工作流。

Vector Database & Semantic Search Engine

构建高性能向量数据库与语义检索引擎，支持多模态向量、混合检索、过滤与分布式分片，适用于大规模语义检索场景。

AI Code Generation IDE Plugin

构建AI代码生成IDE插件，支持代码补全、上下文感知生成、重构建议与单元测试生成，集成VS Code与JetBrains。