1. 案例目标本案例展示了如何使用NVIDIA的函数调用能力构建智能体系统。该案例具有以下目标演示如何使用NVIDIA NIM端点创建智能体展示如何为智能体定义和使用工具函数演示如何管理智能体的上下文和记忆展示如何为智能体添加个性化设置演示如何将RAG/查询引擎与智能体结合使用展示如何使用ReAct模式构建更强大的智能体2. 技术栈与核心依赖本案例使用的主要技术栈和依赖包括LlamaIndex: 用于构建智能体的核心框架NVIDIA NIM: 提供语言模型服务使用meta/llama-3.1-70b-instruct模型NVIDIAEmbedding: 提供嵌入模型服务使用NV-Embed-QA模型FunctionAgent: LlamaIndex中的函数调用智能体ReActAgent: 基于推理和行动的智能体VectorStoreIndex: 用于构建向量索引QueryEngineTool: 用于将查询引擎转换为工具核心依赖包llama-index-llms-nvidia llama-index-embeddings-nvidia llama-index-core3. 环境配置在运行本案例之前需要完成以下环境配置3.1 安装依赖%pip install --upgrade --quiet llama-index-llms-nvidia3.2 配置API密钥import getpass import os # del os.environ[NVIDIA_API_KEY] ## delete key and reset if os.environ.get(NVIDIA_API_KEY, ).startswith(nvapi-): print(Valid NVIDIA_API_KEY already in environment. Delete to reset) else: nvapi_key getpass.getpass(NVAPI Key (starts with nvapi-): ) assert nvapi_key.startswith( nvapi- ), f{nvapi_key[:5]}... is not a valid key os.environ[NVIDIA_API_KEY] nvapi_key3.3 导入必要的库from llama_index.llms.nvidia import NVIDIA from llama_index.core.tools import FunctionTool from llama_index.embeddings.nvidia import NVIDIAEmbedding from llama_index.core.agent.workflow import FunctionAgent, ReActAgent, Context, AgentStream from llama_index.core.tools import QueryEngineTool from llama_index.core import SimpleDirectoryReader, VectorStoreIndex4. 案例实现4.1 基础NVIDIA智能体实现首先我们定义一些简单的计算器工具函数def multiply(a: int, b: int) - int: Multiple two integers and returns the result integer return a * b def add(a: int, b: int) - int: Add two integers and returns the result integer return a b然后我们初始化NVIDIA模型和智能体llm NVIDIA(meta/llama-3.1-70b-instruct) agent FunctionAgent( tools[multiply, add], llmllm, )我们可以使用智能体进行数学计算response await agent.run(What is (121 * 3) 42?) print(str(response))4.2 上下文/记忆管理默认情况下.run()方法是无状态的。如果我们想要维护状态可以传入一个context对象from llama_index.core.agent.workflow import Context ctx Context(agent) response await agent.run(Hello, my name is John Doe., ctxctx) print(str(response)) response await agent.run(What is my name?, ctxctx) print(str(response))4.3 带有个性化设置的智能体我们可以通过指定系统提示来给智能体额外的指令或个性agent FunctionAgent( tools[multiply, add], llmllm, system_promptTalk like a pirate in every response., ) response await agent.run(Hi) print(response) response await agent.run(Tell me a story) print(response)4.4 基于RAG/查询引擎的NVIDIA智能体我们可以将RAG/查询引擎与智能体结合使用。首先我们下载并处理Uber 2021年10K报告!mkdir -p data/10k/ !wget https://raw.githubusercontent.com/run-llama/llama_index/main/docs/examples/data/10k/uber_2021.pdf -O data/10k/uber_2021.pdf然后我们使用NVIDIA嵌入模型构建向量索引from llama_index.core.tools import QueryEngineTool from llama_index.core import SimpleDirectoryReader, VectorStoreIndex embed_model NVIDIAEmbedding(modelNV-Embed-QA, truncateEND) # 加载数据 uber_docs SimpleDirectoryReader( input_files[./data/10k/uber_2021.pdf] ).load_data() # 构建索引 uber_index VectorStoreIndex.from_documents( uber_docs, embed_modelembed_model ) uber_engine uber_index.as_query_engine(similarity_top_k3, llmllm) query_engine_tool QueryEngineTool.from_defaults( query_engineuber_engine, nameuber_10k, description( Provides information about Uber financials for year 2021. Use a detailed plain text question as input to the tool. ), )然后我们创建带有查询引擎工具的智能体agent FunctionAgent(tools[query_engine_tool], llmllm) response await agent.run( Tell me both the risk factors and tailwinds for Uber? Do two parallel tool calls. ) print(str(response))4.5 ReAct智能体实现我们还可以使用ReAct模式构建更强大的智能体from llama_index.core.agent.workflow import ReActAgent agent ReActAgent([multiply_tool, add_tool], llmllm, verboseTrue)使用stream_events()方法我们可以流式传输响应查看智能体的思考过程from llama_index.core.agent.workflow import AgentStream handler agent.run(What is 20(2*4)? Calculate step by step ) async for ev in handler.stream_events(): if isinstance(ev, AgentStream): print(ev.delta, end, flushTrue) response await handler5. 案例效果本案例实现了一个功能丰富的NVIDIA智能体系统具有以下效果功能演示系统能够根据不同的任务需求提供相应的智能体解决方案基础智能体能够使用工具函数进行数学计算通过上下文管理智能体能够记住之前的对话内容通过系统提示智能体可以表现出特定的个性或行为模式结合RAG技术智能体能够基于文档内容回答问题使用ReAct模式智能体能够展示推理过程提高透明度示例输出Let me think step by step to solve this problem: 1. First, I need to calculate 2*4 2. Then I need to add 20 to the result Let me start with the first step: Action: multiply Action Input: {a: 2, b: 4} Observation: 8 Now Ill add 20 to this result: Action: add Action Input: {a: 20, b: 8} Observation: 28 Final Answer: 286. 案例实现思路本案例的实现思路可以分为以下几个关键步骤环境准备: 安装必要的依赖配置NVIDIA API密钥工具定义: 定义智能体可以使用的工具函数模型初始化: 初始化NVIDIA语言模型和嵌入模型智能体创建: 使用FunctionAgent或ReActAgent创建智能体上下文管理: 使用Context对象管理对话历史和状态个性化设置: 通过系统提示为智能体添加个性或特定指令RAG集成: 将向量索引和查询引擎与智能体结合流式处理: 使用stream_events方法实现响应的流式传输关键技术点使用NVIDIA NIM端点提供高性能的语言模型服务通过FunctionTool将Python函数转换为智能体可用的工具使用Context对象实现智能体的状态管理和记忆功能通过系统提示定制智能体的行为和个性结合RAG技术扩展智能体的知识范围使用ReAct模式提高智能体的推理透明度7. 扩展建议基于本案例的实现可以考虑以下扩展方向7.1 增强工具功能添加更多类型的工具函数如文件操作、网络请求、数据库查询等实现工具的异步调用提高并发处理能力添加工具权限控制和安全检查机制7.2 优化智能体能力实现多智能体协作支持更复杂的任务分解和执行添加智能体学习和适应能力根据用户反馈优化行为实现智能体的自我反思和纠错机制7.3 扩展应用场景应用于企业知识管理和问答系统集成到代码生成和调试工具中支持多模态输入输出如图像、音频等7.4 提升系统性能优化模型调用和响应时间实现智能体状态的持久化存储添加缓存机制减少重复计算7.5 增强用户体验实现更自然的对话流程和上下文理解添加多语言支持实现可视化界面方便用户交互8. 总结本案例展示了如何使用NVIDIA的函数调用能力构建功能丰富的智能体系统。通过结合NVIDIA NIM端点、工具函数、上下文管理和RAG技术我们创建了一个能够处理多种任务的智能体。该系统的核心优势在于高性能利用NVIDIA的硬件加速和优化模型提供快速响应灵活性支持自定义工具函数和系统提示适应不同应用场景扩展性可以轻松添加新工具和功能扩展智能体能力透明度通过ReAct模式展示推理过程提高可解释性集成性可以与RAG技术结合扩展智能体的知识范围通过本案例的学习我们可以了解到如何将大语言模型与工具函数、检索技术和推理模式相结合构建出更加强大和实用的智能体系统。这种智能体架构为各种应用场景提供了新的解决方案如客户服务、知识管理、代码生成等。NVIDIA智能体的实现展示了大语言模型在实际应用中的巨大潜力特别是在需要结合外部工具和知识的场景中。通过合理的设计和实现我们可以构建出既强大又安全的智能体系统为用户提供更好的服务和体验。