Logo

菜单

所有标签

#langchain 1 #RAG 1 #peft 2 #Lora 2 #LDA 1 #LDP 0 #随机决策树 1 #tf-df 1 #transformer 1 #文本分类 1 #回溯 1 #深度学习 5 #神经网络 4 #nlp 4 #TCP 1 #二叉搜索树 4 #满二叉树 1 #子叶之和 1 #二叉树路径 1 #平衡二叉树 2 #完全二叉树 2 #二叉树深度 1 #层序 1 #迭代 3 #递归 3 #二叉树 6 #堆 1 #单调队列 1 #逆波兰表达式 1 #数组 2 #链表 2 #哈希表 2 #pytorch 1 #KMP 1 #双指针 1 #字符串 2 #栈 3
三战微调大模型
深度学习 #langchain#RAG#peft#Lora

三战微调大模型

微调方法汇总 全量微调（Full Fine-tuning）：这是最直接的微调方法。即在下游任务的训练数据上，对预训练模型的所有参数进行训练和更新。全量微调可以让模型充分适应新的任务，但需要更新的参数量巨大，对算力要求很高，而且有可能导致过拟合、遗忘预训练知识等问题。 提示微调（Prompt-tuni

Lee 发布于 2024-12-28
微调大模型
深度学习 #Lora#peft

微调大模型

如何增强模型能力 微调是其中的一个方法，当然还有其他方式，比如外挂知识库或者通过 Agent 调用其他 API 数据源，下面我详细介绍下这几种方式的区别。 微调是一种让预先训练好的模型适应特定任务或数据集的方案，成本相对较低，这种情况下，模型会学习训练者提供的微调数据，并且具备一定的理解能力。

Lee 发布于 2024-06-17