Magentic：无缝集成LLM到Python函数中

Magentic 是一个 Python 库，旨在简化将大型语言模型（LLMs）集成到 Python 代码中的过程。它允许开发者使用 @prompt和 @chatprompt 装饰器创建函数，这些函数实际上是 LLM 的提示模板，并返回结构化的输出。

核心特性

• 结构化输出： 支持使用 Pydantic 模型和 Python 内置类型来定义 LLM 函数的输出结构。
• 流式输出： 支持流式传输结构化输出和函数调用，允许在生成过程中使用它们。
• LLM辅助重试： 通过 LLM 辅助的重试机制，提高LLM生成符合复杂输出模式结果的可能性。
• 可观测性： 利用 OpenTelemetry 提供了可观测性，并原生集成了 Pydantic Logfire。
• 类型注解： 类型注解能与代码检查工具和 IDE 良好配合。
• 灵活的配置： 支持多种 LLM 提供商，包括 OpenAI、Anthropic 和 Ollama。
• 其他特性： 包括 Chat Prompting、并行函数调用、视觉能力、格式化和异步支持等。

安装

使用 pip 安装：

阅读全文