accttodo
• 硬件:一张RTX 4090显卡(24GB显存) • 大语言模型:DeepSeek-R1-Distill-Qwen-32B(Qwen 320亿参数Q4量化版DeepSeek-R1蒸馏模型) • 模型推理框架:vLLM • 向量模型:text2vec-base-chinese • Agent智能体框架:LangChain • 向量数据库:PostgreSQL / PG Vector • 前端:Vue.js、LogicFlow • 后端:Python、Django
大语言模型、模型推理框架、向量模型、智能体框架