Gemini Pro API安全设置详解：如何有效避免内容阻断

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Gemini Pro API安全设置详解：如何有效避免内容阻断

2025-11-19

浏览次数：次

返回列表

Gemini Pro API安全设置详解：如何有效避免内容阻断

gemini pro api在自定义安全设置后仍可能阻断回复。本文将详细解释为何直接设置字典无效，并提供正确的python代码示例，指导开发者通过导入`safetysetting`、`harmcategory`和`harmblockthreshold`等类，以对象列表形式配置安全阈值，从而有效管理内容审核，确保api稳定输出，避免不必要的阻断异常。

理解Gemini Pro API的安全机制与阻断问题

Google Gemini Pro API集成了强大的内容安全检测机制，旨在过滤有害、不适宜或违反政策的内容。开发者在使用API时，即使尝试通过自定义safety_settings来放宽内容限制，仍可能遇到BlockedPromptException，提示内容因安全原因被阻断。这通常是因为对安全设置的配置方式存在误解。

最初，开发者可能尝试直接将一个字典传递给safety_settings参数，例如：

def get_gemini_response(question, safety_settings=None):
    if safety_settings is None:
        safety_settings = {
            'SEXUALLY_EXPLICIT': 'block_none',
            'HATE_SPEECH': 'block_none',
            'HARASSMENT': 'block_none',
            'DANGEROUS_CONTENT': 'block_none'
        }
    # ... 调用模型 ...

然而，这种字典形式的设置方式并不能被Gemini Pro API正确解析为有效的安全配置。API期望接收的是一个特定类型的对象列表，而不是简单的字符串映射。当API收到不符合预期的设置时，它会回退到默认的安全策略，或者无法正确应用自定义规则，从而导致即使开发者意图“不阻断任何内容”（block_none），仍然会因内容被判定为高风险而触发阻断异常，例如：

BlockedPromptException: block_reason: SAFETY safety_ratings { category: HARM_CATEGORY_SEXUALLY_EXPLICIT probability: NEGLIGIBLE } safety_ratings { category: HARM_CATEGORY_HATE_SPEECH probability: HIGH } safety_ratings { category: HARM_CATEGORY_HARASSMENT probability: NEGLIGIBLE } safety_ratings { category: HARM_CATEGORY_DANGEROUS_CONTENT probability: NEGLIGIBLE }

这个异常明确指出，即使其他类别概率较低，HARM_CATEGORY_HATE_SPEECH的概率为HIGH，这足以触发默认的阻断机制。

正确配置Gemini Pro API安全设置

要正确配置Gemini Pro API的安全设置，我们需要导入特定的类，并以SafetySetting对象的列表形式来定义每个有害类别的阻断阈值。

1. 导入必要的类

首先，从vertexai.preview.generative_models和google.cloud.aiplatform_v1beta1.types.content中导入相关类：

from vertexai.preview.generative_models import (
    GenerativeModel,
    HarmCategory, 
    HarmBlockThreshold,
    GenerationResponse
)
from google.cloud.aiplatform_v1beta1.types.content import SafetySetting

GenerativeModel: 用于实例化Gemini模型。
HarmCategory: 定义了各种有害内容类别，如HARM_CATEGORY_SEXUALLY_EXPLICIT、HARM_CATEGORY_HATE_SPEECH等。
HarmBlockThreshold: 定义了每个有害类别的阻断阈值，如BLOCK_NONE、BLOCK_ONLY_HIGH等。
SafetySetting: 一个数据结构，用于封装单个有害类别的阻断策略。
GenerationResponse: 模型生成的响应类型。

2. 构建SafetySetting对象列表

接下来，在调用model.generate_content()时，将safety_settings参数设置为一个包含SafetySetting对象的列表。每个SafetySetting对象应指定一个category（有害类别）和一个threshold（阻断阈值）。

以下是正确配置所有常见有害类别为“不阻断”（BLOCK_NONE）的示例：

小云雀

剪映出品的AI视频和图片创作助手

1949 查看详情小云雀

from vertexai.preview.generative_models import (
    GenerativeModel,
    HarmCategory, 
    HarmBlockThreshold,
    GenerationResponse
)
from google.cloud.aiplatform_v1beta1.types.content import SafetySetting

def get_gemini_response_with_custom_safety(prompt_text: str, text: str) -> GenerationResponse:
    """
    使用自定义安全设置调用Gemini Pro模型。

    Args:
        prompt_text: 包含占位符的提示模板。
        text: 填充到提示模板中的实际文本。

    Returns:
        模型的生成响应。
    """
    model = GenerativeModel("gemini-pro")

    response: GenerationResponse = model.generate_content(
        prompt_text.format(text),
        generation_config={
            "max_output_tokens": 2048,
            "temperature": 0,
            "top_p": 1,
        },
        safety_settings=[
            SafetySetting(
                category=HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT,
                threshold=HarmBlockThreshold.BLOCK_NONE,
            ),
            SafetySetting(
                category=HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT,
                threshold=HarmBlockThreshold.BLOCK_NONE,
            ),
            SafetySetting(
                category=HarmCategory.HARM_CATEGORY_HATE_SPEECH,
                threshold=HarmBlockThreshold.BLOCK_NONE,
            ),
            SafetySetting(
                category=HarmCategory.HARM_CATEGORY_HARASSMENT,
                threshold=HarmBlockThreshold.BLOCK_NONE,
            ),
        ]
    )
    return response

# 示例用法
if __name__ == "__main__":
    example_prompt = "请描述以下文本内容：{}"
    # 假设这里有一个可能触发安全审查的文本
    example_text = "一个关于争议*件的描述，可能包含敏感词汇。" 

    try:
        # 调用自定义安全设置的函数
        gemini_response = get_gemini_response_with_custom_safety(example_prompt, example_text)
        print("Gemini Pro 响应内容：")
        for part in gemini_response.candidates[0].content.parts:
            print(part.text)

        # 打印安全评分（即使设置为BLOCK_NONE，模型仍会返回评分）
        print("\n安全评分：")
        for rating in gemini_response.candidates[0].safety_ratings:
            print(f"  类别: {rating.category.name}, 概率: {rating.probability.name}")

    except Exception as e:
        print(f"调用Gemini Pro API时发生错误: {e}")

在这个示例中，我们创建了一个包含四个SafetySetting对象的列表，每个对象都明确指定了一个HarmCategory（如HARM_CATEGORY_SEXUALLY_EXPLICIT）和对应的HarmBlockThreshold.BLOCK_NONE。这意味着对于这些特定类别的有害内容，API将尝试不进行阻断。

注意事项与最佳实践

理解BLOCK_NONE的含义： 即使将阈值设置为BLOCK_NONE，模型仍然会对内容进行评估并返回安全评分。这表示API不会主动阻断该类别的内容，但如果内容被判定为极其有害或违反Google的服务条款，底层系统仍可能介入进行阻断。BLOCK_NONE旨在为开发者提供更大的灵活性，但并非完全取消内容审核。
谨慎调整安全设置： 根据您的应用场景和法律合规性要求，谨慎调整HarmBlockThreshold。除了BLOCK_NONE，还有其他阈值选项：
- BLOCK_ONLY_HIGH: 只阻断高概率有害内容。
- BLOCK_MEDIUM_AND_ABOVE: 阻断中等及以上概率的有害内容。
- BLOCK_LOW_AND_ABOVE: 阻断低等及以上概率的有害内容。选择合适的阈值，以平衡内容自由度和平台责任。
API版本兼容性： 请注意，vertexai库和google.cloud.aiplatform_v1beta1是Google Cloud AI Platform SDK的一部分。随着SDK版本的迭代，导入路径或类名可能会有细微变化。请始终查阅最新的官方文档以确保代码的兼容性。
错误处理： 即使正确配置了安全设置，仍然建议在代码中加入错误处理机制，捕获BlockedPromptException或其他可能的API异常，以便在内容确实被阻断时能进行优雅处理，例如提示用户修改输入或记录日志进行分析。
内容评估透明度： 即使内容未被阻断，GenerationResponse中仍然会包含safety_ratings信息。开发者可以利用这些评分来了解模型对内容的风险评估，从而在应用程序层面进行额外的过滤或提示。

总结

正确配置Gemini Pro API的安全设置是确保API稳定运行、有效管理内容输出的关键。通过导入SafetySetting、HarmCategory和HarmBlockThreshold等类，并以对象列表的形式传递给safety_settings参数，开发者可以精确控制每个有害类别的阻断阈值。理解这些设置的真正含义，并结合应用程序的需求进行谨慎调整，将有助于构建更健壮、更符合预期的AI应用。

以上就是Gemini Pro API安全设置详解：如何有效避免内容阻断的详细内容，更多请关注其它相关文章！

# 的是 # 东莞网站排名怎么优化 # 猎搜seo公司 # 寄生虫seo代发 # 爱奇艺营销推广 # 湖南seo教程怎么操作 # 抖音智能seo优化 # 宜春网络营销推广运营中心 # 关于建设网站的通知 # 东莞凤岗舞蹈网站建设 # PS网站建设银行面试 # 会有 # 您的 # python # 应用程序 # 如何做 # 被判 # 并以 # 设置为 # 数据结构 # 自定义 # gemini # google # ai # go