三战微调大模型

微调方法汇总 全量微调（Full Fine-tuning）：这是最直接的微调方法。即在下游任务的训练数据上，对预训练模型的所有参数进行训练和更新。全量微调可以让模型充分适应新的任务，但需要更新的参数量巨大，对算力要求很高，而且有可能导致过拟合、遗忘预训练知识等问题。 提示微调（Prompt-tuni

发布于 2024-12-28

命名实体识别的评估指标

在命名实体识别（NER）任务中，常用的评估指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）和 F1 值（F1-Score）。这些指标用于衡量模型在识别实体时的性能。以下是这些指标的详细解释及其意义： 1. 准确率（Accuracy） 定义：准确率是所有预测正确

发布于 2024-06-25

微调大模型

如何增强模型能力 微调是其中的一个方法，当然还有其他方式，比如外挂知识库或者通过 Agent 调用其他 API 数据源，下面我详细介绍下这几种方式的区别。 微调是一种让预先训练好的模型适应特定任务或数据集的方案，成本相对较低，这种情况下，模型会学习训练者提供的微调数据，并且具备一定的理解能力。

发布于 2024-06-17

nlp笔记

发布于 2024-04-08

读懂Transformer

1.Transformer 整体结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构： Transformer 的整体结构，左图Encoder和右图Decoder 可以看到 Transformer 由 Encoder 和 Decoder 两

发布于 2024-03-07

深度学习处理文本分类

配置文件 Config = { "model_path": "output", 'ret_data_path': "output/ret_data.csv", "train_data_path": "test_data.csv", "valid_data_path":

发布于 2024-03-01

4.RNN中文分词

1.中文分词 1. 分词任务 - 分词是NLP中一类问题的代表 - 分词是NLP任务的基础 2. 中文分词的难点 - 歧义切分 - 新词、专有名词、改造词等 3. 中文分词算法<

发布于 2024-02-20

3.神经网络处理文本

小任务：字符串中是否存在关键字符串 在自然语言处理（NLP）任务中，神经网络被广泛应用于处理文本数据和字符串分类。下面是详细讲解： 1. 字符数值化（通过词表）： - 首先，将文本中的字符映射为数值表示。一种直观的方式是将每个字符映射为一个数字，比如a->1, b->2, ...

发布于 2024-02-19

2.初识PyTorch

PyTorch简介 PyTorch是一个基于Python的深度学习框架，它提供了一种灵活、高效、易于学习的方式来实现深度学习模型。PyTorch模型定义应包括两个主要部分：各个部分的初始化（init）；数据流向定义（forward）。基于nn.Module，我们可以通过Sequential，Modu

发布于 2024-02-16