切换语言

LiteLLM

通过 LiteLLM 代理统一访问 Bitdeer AI 等多厂商。

LiteLLM 为 100+ LLM 提供统一接口。与对接其他厂商类似,配置自定义 Base URL 与 API Key 即可使用 Bitdeer。

安装

pip install litellm

直接调用

import litellm

response = litellm.completion(
    model="openai/deepseek-ai/DeepSeek-V4-Pro",
    messages=[{"role": "user", "content": "Hello!"}],
    api_base="https://api-inference.bitdeer.ai/v1",
    api_key="YOUR_API_KEY",
)

print(response.choices[0].message.content)

代理配置

litellm_config.yaml 中加入 Bitdeer:

model_list:
  - model_name: deepseek-v4-pro
    litellm_params:
      model: openai/deepseek-ai/DeepSeek-V4-Pro
      api_base: https://api-inference.bitdeer.ai/v1
      api_key: YOUR_API_KEY

  - model_name: qwen3.5-397b
    litellm_params:
      model: openai/Qwen/Qwen3.5-397B-A17B
      api_base: https://api-inference.bitdeer.ai/v1
      api_key: YOUR_API_KEY

  - model_name: kimi-k2.6
    litellm_params:
      model: openai/moonshotai/Kimi-K2.6
      api_base: https://api-inference.bitdeer.ai/v1
      api_key: YOUR_API_KEY

启动代理:

litellm --config litellm_config.yaml

流式

response = litellm.completion(
    model="openai/deepseek-ai/DeepSeek-V4-Pro",
    messages=[{"role": "user", "content": "Tell me a joke."}],
    api_base="https://api-inference.bitdeer.ai/v1",
    api_key="YOUR_API_KEY",
    stream=True,
)

for chunk in response:
    content = chunk.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

最后更新于

本页目录

LiteLLM · Bitdeer AI