跳到主要内容

所有问题

提出问题
标记为
44问题
最新的 活动 被收买的 未答复
筛选依据
排序依据
标记为
1 投票
0 答案
54 意见

使用数据集之类的消息回复微调llama3（slack）

我想根据以下规则对数据集上的llama3进行微调，其中的数据结构是消息列表：有频道。在每个频道中都有来自各种用户的消息。...
Ben的用户头像
本
  • 423
0 投票
0 答案
14 意见

DPO训练期间未更新预训练模型权重

我正在尝试将DPO应用于预训练模型。然而，在训练过程中，预训练模型和精细调整模型给出的分数是相同的，损失保持不变。。。
jeash的用户头像
杰什
  • 1
1 投票
0 答案
23 意见

微调LLaMA-2-Chat-HF模型产生与预训练模型相同的响应，并且适用于基于检索的任务

我正在构建一个聊天机器人来支持药物滥用。我的方法包括两个主要步骤：微调LLaMA-2-Chat-HF模型：我使用数据集微调了LLaMA-2-Chat-HF模式。。。
Hannah Mariam John的用户头像
汉娜·玛丽亚姆·约翰
  • 11
1 投票
0 答案
22 意见

硬件规格数据的微调LLama3

我想在英特尔至强系列CPU规格（核心、G触发器、缓存、频率等）上训练llama3-8B型号我已经为它准备了基本的数据集，但它并没有给出富有成效的结果。拜托。。。
AKSHAY JAIN的用户头像
AKSHAY JAIN公司
  • 23
0 投票
0 答案
21 意见

精细调整的Phi-2模型在保存为pytorch或Pickle时无法正常工作

我这里有一个问题，我用LoRA微调了Phi-2模型，并将模型保存为安全传感器，这是我的文件夹中的内容phi-2-sxd\适配器配置.jsonphi-2-sxd\适配器型号。。。。
Niemandx09的用户头像
尼曼德x09
  • 49
0 投票
1 回答
79 意见

ModuleNotFoundError:没有名为“llama”的模块

我正在尝试执行以下代码：导入itertools导入jsonline从数据集导入load_dataset从pprint导入pprint从骆驼导入BasicModelRunner来自变压器。。。
Jigar Patel的用户头像
吉加尔·帕特尔
  • 1
0 投票
0 答案
38 意见

使用PEFT和SFT训练器创建用于微调LLM的数据集？

我有一个1000条记录的数据集，包含CSV格式的3列“问题”、“逐步回答”和“单字回答”。我尝试在这个数据集上微调LLM（gemma）。。。
sriram anush的用户头像
斯里拉姆·阿努什
  • 95
0 投票
0 答案
31 意见

如果Finetuned Instruct模型与训练时使用的提示不同，则它不会提示

我正在微调一个指令模型（mistal 7B），该模型具有500行数据集，其中包含指令、输入和解释。在训练期间，我的提示包括指令和输入。在我的数据集中。。。
蒙塔西尔·阿德南的用户头像
蒙塔西尔·阿德南
  • 43
0 投票
0 答案
151 意见

“您的‘bitsandbytes’版本与4bit推理和训练不兼容”

我现在正在尝试微调骆驼3模型。我正在使用unsloth，从取消暂停导入FastLanguageModel然后我加载Llama3模型。model，tokenizer=快速语言模型.from_pretrained(模型名称=&。。。
yts61的用户头像
yts61年
  • 1,487
0 投票
0 答案
22 意见

通过没有标签的Trainer API精细调整拥抱面部模型？

我正在学习关于微调模型的《拥抱面孔教程》。不幸的是，它们只显示了通过提供标记数据将BERT微调到分类器的过程。我的情况有点不同：我。。。
Infomagier的用户头像
Infomagier公司
  • 177
-1 投票
0 答案
29 意见

使用音乐功能数据微调llm

在此处输入图像描述这张图片是我正在使用的数据。我想用这些数据微调一个大型语言模型，以便在用户输入播放列表名称时创建音乐播放列表。我不能。。。
Shristy Thapa的用户头像
Shristy Thapa先生
  • 1
0 投票
0 答案
164 意见

在自定义数据集上微调8位Llama3的LORA

我一直在尝试在kaggle笔记本上对Llama3-8B-IT模型的QLora版本进行微调，该笔记本的自定义数据集包含大约44个问题。然而，我并没有在所有的回答中都取得好的结果。这个。。。
APaul31的用户头像
A故障31
  • 38
0 投票
1 回答
78 意见

劳拉微调：训练损失在两个时期之间急剧减少，在一个时期内缓慢减少

如图所示，验证损失正常减少，一个历元期间的训练损失也减少，但速度较慢。为什么培训损失在两个时期之间急剧减少？我应该如何更改参数。。。
杨成的用户头像
杨成
  • 1
1 投票
0 答案
67 意见

检查点的Peft模型导致尺寸不匹配

我训练过佩夫特模型，并把它保存在拥抱脸上。不，我想将其与基础模型合并。我使用了以下代码。从peft导入PeftModel、PeftConfig、AutoPeftModelForCausalLM来自。。。
Sandun Tharaka的用户头像
桑顿·塔拉卡
  • 11
0 投票
1 回答
72 意见

AttributeError:“OpenAI”对象没有属性“fine_tunes”

我在Jupyter Notebook 7.0.8中使用Python：以下是由以下单元格生成的错误：错误：---------------------------------------------------------------------------属性错误。。。
Codezilla的用户头像
科迪齐拉
  • 9

15 30 50 每页
1
2 三