框架类型	代表项目	适用场景	开发者要求
代码密集型框架	LangChain	高度定制化、复杂逻辑任务	熟悉Python/LLM生态
低代码框架	Dify	快速原型开发、轻量级应用	基础业务理解，无需编程经验
多智能体框架	AgentScope	分布式协作、模拟仿真	分布式系统知识

一、什么是大模型应用开发？

​ 以大语言模型为功能核心、通过大语言模型的强大理解能力和生成能力、结合特殊的数据或业务逻辑来提供独特功能的应用称为大模型应用开发。

​ 大模型应用的开发，一般通过调用开源模型 API 来实现核心的理解与生成，通过提示工程（Prompt Enginnering）来实现大语言模型的控制。在大模型应用开发中，一般不会去大幅度改动模型，而是将大模型作为一个调用工具，通过提示工程、数据工程、业务逻辑分解等手段来充分发挥大模型能力，适配应用任务，而不会将精力聚焦在优化模型本身上。

参考资料

NPL 自然语言处理（Natural Language Processing）工具

面向计算机领域的文本分析与理解技术，通过算法与模型处理人类语言数据，核心工具包括：

1. 基础文本处理库

   • NLTK（Natural Language Toolkit）：提供分词、词性标注、句法分析等基础功能，适合学术研究与教学场景。
   • spaCy：工业级高性能库，支持多语言模型、依存句法分析与命名实体识别，处理速度比传统工具快10倍以上。
   • jieba：专为中文设计的分词工具，支持自定义词典与并行处理，电商评论分析准确率达95%。

2. 深度学习框架

   • Hugging Face Transformers：集成BERT、GPT等预训练模型，支持快速微调以适应文本分类、问答系统等任务，覆盖100+语言。
   • TensorFlow/PyTorch NLP扩展包：如TensorFlow Text、TorchText，提供词向量训练与序列建模接口。

3. 端到端应用平台

   • Dialogflow：构建对话式AI，支持意图识别与多轮对话管理；
   • Rasa：开源对话系统框架，企业级客服机器人开发首选。

模型推理服务器的配置如下：

• • GPU：RTX 4090，24GB显存
• • CPU:16 核，Xeon® Platinum 8352V
• • 内存:90 GB
• • 系统盘:30 GB
• • 数据盘:50 GB（用于存放模型文件、分词器文件）

一、什么是大模型推理框架？

大模型推理框架是专门用于将训练好的大型语言模型（如GPT、Llama等）部署到实际应用环境的软件工具包。它相当于一个“效率管家”，负责优化模型在生产环境中的运行性能（如响应速度、资源利用率），并提供便捷的接口和硬件适配能力。

智能体框架

智能体框架是指用于构建和管理智能体（Agent）的系统或工具。智能体是一种能够感知环境、自主采取行动以实现目标的程序，通常具备学习、推理和决策能力。

特点：

1. 自主性：能够根据环境变化自主决策。
2. 协作性：支持多个智能体之间的协作与通信。

举例：

• OpenAI Swarm：用于构建多智能体系统的框架，支持智能体之间的协作与通信。
• AutoGPT：基于 GPT 的智能体框架，能够自主完成任务，如信息检索、文本生成等。

按模型的使用场景将模型分为以下 4 类：

系统推理模型。 在创建的应用中，用的是该类型的模型。智聊、对话名称生成、下一步问题建议用的也是推理模型。

已支持的系统推理模型供应商：OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火、文心一言、通义千问、Minimax、ZHIPU(ChatGLM)

大语言模型

大语言模型（Large Language Model, LLM）是一种基于深度学习的人工智能模型，专注于处理自然语言数据。它通过分析海量文本数据，学习语言的语法、语义和上下文关系，从而实现对自然语言的理解与生成。大语言模型的核心任务是实现与人类的语言交流，包括文本生成、问答、翻译等任务。

特点：

1. 规模庞大：通常拥有数十亿到上千亿个参数，能够捕捉复杂的语言模式。
2. 语言处理能力强：能够理解上下文、生成连贯文本、回答复杂问题，并进行多轮对话。

一、什么是向量数据库

​ 向量数据库（Vector Database），也叫矢量数据库，主要用来存储和处理向量数据。向量数据库的主要特点是高效存储与检索。利用索引技术和向量检索算法能实现高维大数据下的快速响应。

​ 在数学中，向量是有大小和方向的量，可以使用带箭头的线段表示，箭头指向即为向量的方向，线段的长度表示向量的大小。两个向量的距离或者相似性可以通过余弦距离、欧式距离、汉明距离（为二进制向量时）等得到。

​ 向量数据通常用于表示非结构化数据（如文本、图像、音频等）的特征。图像、文本和音视频这种非结构化数据都可以通过某种变换或者嵌入学习转化为向量数据存储到向量数据库中，从而实现对图像、文本和音视频的相似性搜索和检索。

什么是LangChain？

LangChain 是一个开源的大型语言模型（LLM）应用开发框架，旨在简化基于语言模型的复杂应用构建过程。通过模块化设计和链式工作流，它解决了 LLM 开发中的关键痛点，支持开发者高效连接模型、数据源和工具。支持Python和TypeScript两种语言。

---

一、定义与价值

1. 核心定位：
   LangChain 是 LLM 的"编程框架"，提供标准化接口和组件，让开发者像搭积木一样构建 AI 应用（如知识库问答、智能客服、自动化流程）。

   • 类比：LangChain 相当于数据库领域的 JDBC，统一不同模型（OpenAI、ChatGLM 等）的调用方式。
   • 核心能力：数据感知（连接外部数据）和自主性（与环境交互）。

2. 解决的核心问题：

   • 模型接口不统一：封装 OpenAI、Hugging Face 等模型的 API，支持一键切换模型。
   • 长文本处理限制：通过向量数据库（如 Faiss、Milvus）存储和检索超长文本，突破 LLM 的 Token 限制（如 ChatGPT 的 4K 上限）。
   • 上下文管理：通过 Memory 模块维护多轮对话状态，避免 LLM 无记忆的问题。
   • 功能扩展：动态调用外部 API、计算器、搜索引擎等工具（如 Google 搜索、Wolfram Alpha）。

3. 设计理念：

   LangChain 框架采用模块化设计，整个架构由多个相互关联的包组成：

   • ‌核心层(langchain-core)‌：包含LLM、向量数据库、检索器等核心组件的抽象接口。

   • ‌集成层‌：分为主流集成包(如langchain-openai)和社区集成包(langchain-community)。

   • ‌应用层(langchain)：包含构建LLM应用所需的高级组件，如各种链(Chain)结构和代理(Agent)实现。