大语言模型

Bitdeer AI 文本生成模型使用指南——功能、参数及高级特性。

模型能力

Bitdeer AI 上的大语言模型(LLM)通过 Chat Completions HTTP API(POST /v1/chat/completions)进行访问。它们支持:

  • 文本生成 — 为任何任务生成连贯且符合上下文的文本
  • 代码生成 — 使用 Python、JavaScript 等 30 多种语言编写、解释和调试代码
  • 摘要与翻译 — 压缩文档内容或在不同语言之间进行翻译
  • 多轮对话 — 在多次用户/助手交互中保持上下文
  • 工具调用 — 通过 Function Calling 调用外部函数和 API

要查看所有可用模型的列表,请查看 模型目录

API 集成

请求和响应字段请参考 API 参考。简要说明如下:

  1. Base URL:https://api-inference.bitdeer.ai/v1
  2. 发送 Authorization: Bearer <your Bitdeer key>

下面的代码片段使用了来自 SDK 的 Python 辅助函数;相同的调用也可以通过 HTTPS 发送 JSON POST 请求实现。

from openai import OpenAI

client = OpenAI(
    base_url="https://api-inference.bitdeer.ai/v1",
    api_key="YOUR_BITDEER_API_KEY",
)

response = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "What is serverless inference?"},
    ],
    stream=True,
    max_tokens=512,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

功能指南

关键参数

参数类型描述
modelstring必填。 来自 模型目录 的模型 ID。
messagesarray必填。 对话历史——包括 system、user 和 assistant 消息。
max_tokensinteger响应中的最大 token 数。
temperaturefloat控制随机性。0 = 确定性输出,2 = 高度创造性。默认值为 1。
top_pfloat核采样。控制累积概率。默认值为 1。
streamboolean是否以流式方式返回响应。默认值为 false。
stopstring or array用于终止生成的序列。
frequency_penaltyfloat对重复 token 进行惩罚。取值范围为 [-2, 2]。
presence_penaltyfloat鼓励话题多样性。取值范围为 [-2, 2]。

最后更新于

本页目录