LLM配置

此功能需要外部账户»

LLM配置[]

表示LLM的配置。

LLM配置[支柱val值]

基于创建配置$LLM评估师指定属性设置为的val值.

LLM配置[<|支柱1->val值1,支柱2->val值2,...|>]

指定多个属性和值。

LLM配置[LLM配置[],道普斯佩克]

基于现有配置创建配置。

细节

  • LLM配置对象可以与以下函数一起使用LLM综合,Chat对象聊天评估通过LLM估价员选项。
  • $LLM评估师设置为LLM配置.
  • 支持的属性LLM配置对象包括:
  • “MaxTokens”要生成的令牌的最大数量
    “模型”基本模型
    “提示分隔符”要在提示之间插入的字符串
    “提示”初始提示或LLM提示生成器物体
    “停止令牌”停止生成的标记
    “温度”取样温度
    “工具方法”用于工具调用的方法
    “工具”的列表LLM工具要提供的对象
    “最高概率”抽样等级截止
    “总概率截止”抽样概率截止(核取样)
  • 的有效设置“模型”包括:
  • 名称命名模型
    {服务,名称}命名模型来自服务
    <|“服务”服务,“姓名”名称|>完全指定型号
  • LLM生成的文本是从分布中采样的。可以使用以下属性指定采样的详细信息LLM配置:
  • “温度”t吨自动使用正温度取样t吨
    “最高概率”k自动仅在k高概率类
    “总概率截止”第页自动在最可能的选择中抽样,累计概率至少为第页 (核取样)
  • 这个自动这些参数的值使用指定“模型”.
  • 的有效设置“提示”包括:
  • “字符串”静态文本
    LLM提示["名称"]存储库提示
    LLM提示生成器[]一个LLM提示生成器对象
    {促使1,}提示列表
  • 的设置“提示分隔符”确定如何连接多个提示。
  • 的有效设置“工具方法”包括:
  • 自动在支持时使用工具服务
    “服务”依靠的工具机制服务
    “文本”使用基于提示的工具调用
    协会会员特定的文本提示和解析
  • 中的有效密钥协会会员包括:
  • “工具提示”提示指定工具格式
    “ToolRequestParser”用于分析工具请求的函数
    “工具响应插入函数”序列化工具响应的功能
  • 由指定的提示“工具提示”仅当指定了至少一个工具时才使用。
  • “工具提示”可以是模板,并应用于包含LLM配置.
  • “ToolRequestParser”指定一个函数,该函数从LLM中获取最新的补全并返回以下形式之一:
  • 无工具请求
    {{开始,结束},LLM工具请求[]}工具请求
    {{开始,结束},失败[]}无效的工具请求
  • 整数对{开始,结束}指示出现工具请求的完成字符串中的字符范围。
  • 并非所有LLM服务都支持LLM配置.

示例

全部打开全部关闭

基本示例  (3)

创建包含提示的配置:

在LLM评估中使用配置:

指定配置的多个属性:

修改现有配置:

范围  (9)

为LLM生成的文本指定令牌限制:

指定要用于生成的服务和模型:

在提交给LLM之前,指定几个提示以及如何将它们连接在一起:

规定应在零温度下进行取样:

指定切断分布前的最大累积概率(也称为核采样):

指定要从中采样的最高概率令牌的数量:

指定将停止LLM生成过程的一个或多个可选字符串:

指定LLM可以在需要时调用的工具:

指定工具调用应尝试使用本机API机制:

与其他基于文本的方法(一次执行一个调用)相比:

Wolfram Research(2023),LLMConfiguration,Wolfram Language函数,https://reference.wolfram.com/language/ref/LLMConfiguration.html。

文本

Wolfram Research(2023),LLMConfiguration,Wolfram Language函数,https://reference.wolfram.com/language/ref/LLMConfiguration.html。

CMS公司

沃尔夫拉姆语言。2023.“LLMConfiguration”,Wolfram语言与系统文档中心。Wolfram研究。https://reference.wolfram.com/language/ref/LLMConfiguration.html。

亚太地区

沃尔夫拉姆语言。(2023). LLM配置。Wolfram语言与系统文档中心。检索自https://reference.wolfram.com/language/ref/LLMConfiguration.html

BibTeX公司

@misc{reference.wolfram_2024_llmconfiguration,author=“wolfram Research”,title=“{LLMConfiguation}”,year=“2023”,howpublished=“\url{https://reference.jolfram.com/language/ref/llmconfiguration.html}”]}

BibLaTeX公司

@online{reference.wolfram_2024_llmconfiguration,organization={wolfram Research},title={LLMConfiguation},year={2023},url={https://reference.jolfram.com/language/ref/llmconfiguration.html},note=[访问时间:2024年9月22日]}