一、什么是大模型应用开发？

​ 以大语言模型为功能核心、通过大语言模型的强大理解能力和生成能力、结合特殊的数据或业务逻辑来提供独特功能的应用称为大模型应用开发。

​ 大模型应用的开发，一般通过调用开源模型 API 来实现核心的理解与生成，通过提示工程（Prompt Enginnering）来实现大语言模型的控制。在大模型应用开发中，一般不会去大幅度改动模型，而是将大模型作为一个调用工具，通过提示工程、数据工程、业务逻辑分解等手段来充分发挥大模型能力，适配应用任务，而不会将精力聚焦在优化模型本身上。

参考资料

一、智能体（Agent）互联协议栈

**MCP（模型上下文协议）**和 **A2A（Agent2Agent协议）**是 AI Agent落地的核心协议栈，二者互补支撑智能体生态规模化落地。

• MCP（模型上下文协议）是解决Agent与Tools交互的核心标准；
• A2A（Agent2Agent协议）是破解Agent间/用户交互的关键方案。

1.1 Agent与Tools交互问题

核心挑战

• 工具链错配：现有编程语言、编译器等工具为人类设计，隐藏内部状态，导致Agent无法溯源错误原因。
• 调用鲁棒性不足：易出现工具选择错误、参数填写偏差，且缺乏结果验证与重试机制。
• 多工具协作成本高：不同工具接口差异大，集成难度高，难以形成“计划-执行-验证”闭环。

NPL 自然语言处理（Natural Language Processing）工具

面向计算机领域的文本分析与理解技术，通过算法与模型处理人类语言数据，核心工具包括：

1. 基础文本处理库

   • NLTK（Natural Language Toolkit）：提供分词、词性标注、句法分析等基础功能，适合学术研究与教学场景。
   • spaCy：工业级高性能库，支持多语言模型、依存句法分析与命名实体识别，处理速度比传统工具快10倍以上。
   • jieba：专为中文设计的分词工具，支持自定义词典与并行处理，电商评论分析准确率达95%。

2. 深度学习框架

   • Hugging Face Transformers：集成BERT、GPT等预训练模型，支持快速微调以适应文本分类、问答系统等任务，覆盖100+语言。
   • TensorFlow/PyTorch NLP扩展包：如TensorFlow Text、TorchText，提供词向量训练与序列建模接口。

3. 端到端应用平台

   • Dialogflow：构建对话式AI，支持意图识别与多轮对话管理；
   • Rasa：开源对话系统框架，企业级客服机器人开发首选。

模型推理服务器的配置如下：

• • GPU：RTX 4090，24GB显存
• • CPU:16 核，Xeon® Platinum 8352V
• • 内存:90 GB
• • 系统盘:30 GB
• • 数据盘:50 GB（用于存放模型文件、分词器文件）

一、什么是大模型推理框架？

大模型推理框架是专门用于将训练好的大型语言模型（如GPT、Llama等）部署到实际应用环境的软件工具包。它相当于一个“效率管家”，负责优化模型在生产环境中的运行性能（如响应速度、资源利用率），并提供便捷的接口和硬件适配能力。

智能体框架

智能体框架是指用于构建和管理智能体（Agent）的系统或工具。智能体是一种能够感知环境、自主采取行动以实现目标的程序，通常具备学习、推理和决策能力。

特点：

1. 自主性：能够根据环境变化自主决策。
2. 协作性：支持多个智能体之间的协作与通信。

举例：

• OpenAI Swarm：用于构建多智能体系统的框架，支持智能体之间的协作与通信。
• AutoGPT：基于 GPT 的智能体框架，能够自主完成任务，如信息检索、文本生成等。

按模型的使用场景将模型分为以下 4 类：

系统推理模型。 在创建的应用中，用的是该类型的模型。智聊、对话名称生成、下一步问题建议用的也是推理模型。

已支持的系统推理模型供应商：OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火、文心一言、通义千问、Minimax、ZHIPU(ChatGLM)

大语言模型

大语言模型（Large Language Model, LLM）是一种基于深度学习的人工智能模型，专注于处理自然语言数据。它通过分析海量文本数据，学习语言的语法、语义和上下文关系，从而实现对自然语言的理解与生成。大语言模型的核心任务是实现与人类的语言交流，包括文本生成、问答、翻译等任务。

特点：

1. 规模庞大：通常拥有数十亿到上千亿个参数，能够捕捉复杂的语言模式。
2. 语言处理能力强：能够理解上下文、生成连贯文本、回答复杂问题，并进行多轮对话。

一、什么是向量数据库

​ 向量数据库（Vector Database），也叫矢量数据库，主要用来存储和处理向量数据。向量数据库的主要特点是高效存储与检索。利用索引技术和向量检索算法能实现高维大数据下的快速响应。

​ 在数学中，向量是有大小和方向的量，可以使用带箭头的线段表示，箭头指向即为向量的方向，线段的长度表示向量的大小。两个向量的距离或者相似性可以通过余弦距离、欧式距离、汉明距离（为二进制向量时）等得到。

​ 向量数据通常用于表示非结构化数据（如文本、图像、音频等）的特征。图像、文本和音视频这种非结构化数据都可以通过某种变换或者嵌入学习转化为向量数据存储到向量数据库中，从而实现对图像、文本和音视频的相似性搜索和检索。