Datadesigner 在 NeMo 平台上协调合成数据生成。
Datadesigner，由Nvidia Nemo开发，是一个主要使用Python构建的mcp类别编排框架。它专注于生成高质量的合成数据，支持工具使用和MCP。作为一个开源库分发，它与NeMo平台作为服务集成，并连接到各种LLM推理服务器。该工具使开发人员能够定义数据集模式并扩展合成数据管道，为数据创建提供灵活的解决方案。
Datadesigner 连接到什么？
Datadesigner 作为合成数据生成的编排框架，归类于工具使用和 MCP。它作为客户端连接到各种大型语言模型推理服务器，包括 NVIDIA、OpenAI 和 vLLM 端点，而不自行托管模型。它作为服务与 NeMo 平台集成，并可以通过 NeMo Curator 进行扩展。此外，它通过模型上下文协议在生成期间连接到外部工具，利用来自 NeMo 服务集群的文件 API、秘密 API 和推理网关 API。
核心功能和工具
Datadesigner 在其 "data_designer.config" 包中暴露配置构建工具。关键组件包括 ModelConfig、SamplerColumnConfig 和 LLMTextColumnConfig，用于定义数据集架构。DataDesignerConfigBuilder 构建这些配置。DataDesigner.preview() 方法可用于生成新列。还提供了诸如 "data-designer create" 的命令行界面命令以供执行。它使 LLM 列能够通过 MCP 调用外部工具以执行查找或检索等任务。
适合谁？
Datadesigner 适合需要生成高质量合成数据并编排 LLM 驱动管道的开发人员和数据科学家。它对与 NeMo 平台集成或使用 NeMo Curator 扩展合成数据工作的人有益。需要通过 MCP 对数据集架构和外部工具交互进行细粒度控制的用户会发现它很有价值。如果您需要一个内部托管 LLM 模型的全能解决方案，这并不合适。
如何开始
通过 NeMo 平台服务的标准 OAuth 授权流程授予访问权限。对于 LLM 提供者，服务器使用作为环境变量传递的 API 密钥进行身份验证，例如 NVIDIA_API_KEY，通过 HTTP。
用例
- 生成用于模型训练和测试的合成数据。
- 编排涉及多个 LLM 推理服务器的复杂数据管道。
- 定义和管理带有 LLM 生成列的数据集架构。
Nvidia Nemo 的 Datadesigner 提供了一个基于 Python 的编排框架，用于在 mcp 类别中生成合成数据。它支持多种 LLM 推理服务器，并与 NeMo 平台集成，允许可扩展的数据管道开发。其配置工具提供对数据集模式定义和外部工具交互的细粒度控制。尝试使用 DataDesigner.preview() 方法生成新列，以探索其功能。
