LLM模型分类
参考:
模型分类
按模型的使用场景将模型分为以下 4 类:
系统推理模型。 在创建的应用中,用的是该类型的模型。智聊、对话名称生成、下一步问题建议用的也是推理模型。
已支持的系统推理模型供应商:OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火、文心一言、通义千问、Minimax、ZHIPU(ChatGLM)
Embedding 模型。在数据集中,将分段过的文档做 Embedding 用的是该类型的模型。在使用了数据集的应用中,将用户的提问做 Embedding 处理也是用的该类型的模型。
已支持的 Embedding 模型供应商:OpenAI、ZHIPU(ChatGLM)、JinaAI
Rerank 模型。Rerank 模型用于增强检索能力,改善 LLM 的搜索结果。
已支持的 Rerank 模型供应商:Cohere、JinaAI
语音转文字模型。将对话型应用中,将语音转文字用的是该类型的模型。
已支持的语音转文字模型供应商:OpenAI
以下是关于四种模型类型的详细解释:
系统推理模型:
- 定义:系统推理模型是描述系统某一方面本质属性的模型。它不是系统对象本身,而是现实系统的描述、模仿或抽象。
- 特点:
- 反映实际系统的主要特征,但高于实际系统而具有同类问题的共性。
- 根据不同的研究目的,可以建立不同的系统模型。
- 适用于现实系统的抽象或模仿,由反映系统本质或特征的主要因素构成,集中体现了这些因素之间的关系。
Embedding模型:
- 定义:Embedding模型在自然语言处理(NLP)中广泛应用,用于将离散的文本数据映射到连续的低维度空间中,以便于后续的机器学习任务。
- 原理:
- 基于神经网络,通常使用无监督学习方法。
- 通过学习大量的文本数据来自动发现文本中的语义关系。
- 在训练过程中,模型学习到一个嵌入向量空间,其中每个单词或字符都被表示为一个向量。
- 应用:文本分类、情感分析、机器翻译、信息检索等。
Rerank模型:
- 定义:Rerank模型是在传统检索结果的基础上进行二次排序的模型。
- 应用:
- 信息检索领域,用于提高搜索引擎的检索效率和准确性。
- 通常使用机器学习算法来重新对检索结果进行排序,以提高检索结果的质量和相关性。
语音转文字模型(中文语音转文本模型):
- 定义:中文语音转文本模型是一种技术,可以将中文语音转换为文本形式。
- 原理:
- 基于深度学习技术,结合语音识别和自然语言处理的方法。
- 通过分析和理解语音信号中的语言信息,以生成对应的文本输出。
- 应用:语音识别、语音助手、语音输入等。
这些模型在各自的应用场景中发挥着重要作用,并且随着技术的发展不断完善和优化。
什么是Embedding模型?
Embedding模型 是一种在深度学习和自然语言处理(NLP)中广泛使用的技术,用于将离散的、高维的输入(如单词、类别等)转换为低维的、连续的向量表示。这种转换有助于捕捉输入之间的语义和语法关系,使得模型能够更有效地处理这些输入。
具体来说,Embedding模型通过训练一个神经网络(通常是一个简单的全连接层)来学习从高维空间到低维空间的映射。这个神经网络接受一个高维的、离散的输入(例如,一个单词的one-hot编码),并输出一个低维的、连续的向量(即嵌入向量)。
在NLP中,Embedding模型通常用于将单词转换为嵌入向量。这些嵌入向量可以捕获单词之间的语义关系,使得模型能够理解单词的含义和上下文。例如,通过比较两个单词的嵌入向量的余弦相似度,可以判断这两个单词在语义上是否相似。
除了单词级别的Embedding外,还有句子级别的Embedding和段落级别的Embedding等。这些技术都是利用类似的原理,将不同粒度的输入转换为连续的向量表示,以便在深度学习任务中使用。
Embedding模型在许多NLP任务中都取得了显著的效果,如文本分类、情感分析、机器翻译等。通过引入Embedding模型,这些任务可以更有效地处理和理解文本数据,从而提高模型的性能。
向量模型
向量模型是一种将文本、图像等数据转化为向量表示的技术。通过将数据映射到高维空间,向量模型能够捕捉数据的语义信息和潜在关系,常用于相似性匹配、语义理解等任务。
特点:
- 语义保留:向量之间的相似性可以反映数据之间的语义相似性。
- 高维性:通常为数百至数千维,能够捕捉复杂的语义信息。
举例:
- BERT Embeddings:将文本转化为向量表示,用于文本分类、语义搜索等任务。
- CLIP:将图像和文本映射到同一向量空间,支持跨模态检索。