视觉语言模型

将图像发送至视觉语言模型,以实现理解、描述和分析。

视觉语言模型(VLM)可以同时处理图像和文本输入。在 messages 数组中使用 image_url 内容类型,即可在文本旁边传递图像。

如需查看所有可用模型,请查阅 模型目录

通过 URL 传入图像

from openai import OpenAI

client = OpenAI(
    base_url="https://api-inference.bitdeer.ai/v1",
    api_key="YOUR_API_KEY",
)

response = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {"url": "https://example.com/photo.jpg"},
                },
                {
                    "type": "text",
                    "text": "Describe what you see in this image.",
                },
            ],
        }
    ],
    max_tokens=512,
)

print(response.choices[0].message.content)

通过 Base64 传入图像

import base64

with open("photo.jpg", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{b64}"},
                },
                {
                    "type": "text",
                    "text": "What text is present in this image?",
                },
            ],
        }
    ],
    max_tokens=512,
)

多张图像

您可以在单次请求中发送多张图像:

response = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "image_url", "image_url": {"url": "https://example.com/img1.jpg"}},
                {"type": "image_url", "image_url": {"url": "https://example.com/img2.jpg"}},
                {"type": "text", "text": "Compare these two images."},
            ],
        }
    ],
    max_tokens=512,
)

注意事项

  • Base64 编码的图像大小最好控制在 1 MB 以内,以避免超时。
  • 图像 token 会与文本 token 一起计入计费。
  • 视觉输入支持流式输出。

最后更新于

本页目录