AI提取JSON重复字段：解析成功不等于没有覆盖

展开本页目录

开始前准备什么

独立练习目录及Python 3.14；系统与Node依赖以README为准。
离线重放无需Key；新请求使用自己的apizt Key，先核对模型权限和当前价格。
原创合成材料，不需要登录第三方平台账号。

先看文件
按步骤操作
对照真实结果
离线或模型复跑

下载本例输入、代码、真实回执和产物

默认离线重放；包含完整失败尝试与本地检查，不含Key。

1. 核对本例材料与目标文件

区别一般JSON Schema，先在解析阶段识别被覆盖键。需人工重叠复核。

先下载合成材料在独立目录练习。原始文件、模型输入与验收答案分别保留；本地核对答案不发送给模型。

input.json（节选）

json

{
  "raw_json": "{\"order_id\":\"D-11\",\"price\":\"19.90\",\"price\":\"29.90\",\"currency\":\"CNY\"}"
}

2. 按顺序完成这项具体操作

本次实际使用Python 3.14，依赖版本固定在资料包。需要LibreOffice或Node的案例请先按README安装对应运行时。python run.py读取真实旧响应完成本地处理；只有显式--live才发新请求。

1. 从 input.json 取出 raw_json 原始字符串，确认 price 在同一个对象中出现两次，两个值分别为19.90和29.90；先保留文本，不直接转成普通字典。
2. 让 apizt 按原文顺序列出 price_values 并给出是否待核的 decision；保存实际回执，核对两个原值均未被摘要丢弃。
3. 使用 JSON 的 object_pairs_hook 保留键值对，按键收集全部出现值；遇到重复键时阻止严格对象解析，不让后一价格覆盖前一价格。
4. 打开 duplicate-key-conflicts.csv 与 result.json，检查 price 的冲突值仍为两项，并对照普通字典解析只留下后一值的差异。
5. 用只有一个 price 的本地对照JSON验证正常解析；再验证原重复键样例确实被严格解析器拒绝，不能仅凭 JSON 语法合法就继续导入。

独立练习目录 · 默认仅离线复核

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
python run.py

3. 对照真正发送的请求

只处理给定原创虚构材料，只输出JSON。源文本是原始JSON片段；用price_values按原文顺序列出所有price值（字符串），decision为review或accept；不要把后一键覆盖前一键。输出结构：{"price_values": ["string"], "decision": "string"}

网页实验台只执行这一步模型字段检查。原生文件写入、坐标/公式/格式回读及负例验收由下载包负责。

request-1.json（图片Base64省略，原文件在下载包）

json

{
  "model": "gemini-2.5-flash-lite",
  "messages": [
    {
      "role": "system",
      "content": "严格只输出单个JSON对象，不要Markdown代码围栏，不要解释。只处理给定原创虚构材料，只输出JSON。源文本是原始JSON片段；用price_values按原文顺序列出所有price值（字符串），decision为review或accept；不要把后一键覆盖前一键。 输出结构：{\"price_values\": [\"string\"], \"decision\": \"string\"}"
    },
    {
      "role": "user",
      "content": "任务约束（只输出JSON对象，不用代码围栏）：\n只处理给定原创虚构材料，只输出JSON。源文本是原始JSON片段；用price_values按原文顺序列出所有price值（字符串），decision为review或accept；不要把后一键覆盖前一键。 输出结构：{\"price_values\": [\"string\"], \"decision\": \"string\"}\n待处理合成材料：\n{\"raw_json\": \"{\\\"order_id\\\":\\\"D-11\\\",\\\"price\\\":\\\"19.90\\\",\\\"price\\\":\\\"29.90\\\",\\\"currency\\\":\\\"CNY\\\"}\"}"
    }
  ],
  "temperature": 0,
  "max_tokens": 1024,
  "provider": {
    "sort": "success_rate"
  },
  "response_format": {
    "type": "json_object"
  }
}

4. 查看原生处理代码与实际文件

下面节选来自本次实际执行的workflow.py分支，需要结合完整脚本运行。模型输出不能代替文件解析器或业务验算。

具体产物：duplicate-key-conflicts.csv、result.json、checks.json、preview.html。

workflow.py · 本例分支节选

python

pairs = json.loads(data['raw_json'], object_pairs_hook=lambda p: p)
seen = defaultdict(list)
for k, v in pairs:
    seen[k].append(v)
conflict = [{'key': k, 'values': v} for k, v in seen.items() if len(v) > 1]

def strict(p):
    keys = [k for k, v in p]
    if len(keys) != len(set(keys)):
        raise ValueError('duplicate JSON key')
    return dict(p)
rejected = False
try:
    json.loads(data['raw_json'], object_pairs_hook=strict)
except ValueError:
    rejected = True
check('重复键在解析阶段被拒绝', rejected)
check('两个原值均保留', seen['price'] == output['price_values'] == ['19.90', '29.90'])
check('正常负对照通过', json.loads('{"price":"19.90"}', object_pairs_hook=strict) == {'price': '19.90'})
cout('duplicate-key-conflicts.csv', conflict)
result = {'decision': 'review', 'conflicts': conflict, 'ordinary_parser_loss': json.loads(data['raw_json'])['price']}

5. 对照真实结果和检查表

实测2026-10-25T07:47:49.045824+00:00，HTTP200；请求gemini-2.5-flash-lite，返回gemini-2.5-flash-lite。本次5/5项检查通过，指本例执行及验收机制通过，不代表所有模型字段零误差。

最后一次返回用量236tokens；1份尝试记录的已知用量合计236。失败记录保留，用量缺失不按0计，本文不推算实际金额。

实际检查	结果
真实apizt API响应HTTP200	通过
模型结构化事实与原始材料一致	通过
重复键在解析阶段被拒绝	通过
两个原值均保留	通过
正常负对照通过	通过

实际检查: 真实apizt API响应HTTP200
结果: 通过

实际检查: 模型结构化事实与原始材料一致
结果: 通过

实际检查: 重复键在解析阶段被拒绝
结果: 通过

实际检查: 两个原值均保留
结果: 通过

实际检查: 正常负对照通过
结果: 通过

result.json · 原生处理后实际结果

json

{
  "decision": "review",
  "conflicts": [
    {
      "key": "price",
      "values": [
        "19.90",
        "29.90"
      ]
    }
  ],
  "ordinary_parser_loss": "29.90"
}

6. 替换输入前，先确认这些边界

本例只验证合成材料和本地原生文件；不连接真实客户数据，不代表第三方SaaS已运行。

修改材料后应重新制定事实断言和反例。识别错误率、混淆矩阵或拒答类教程允许保留模型实际错误；检查通过指计算和处理正确。没有调用视频模型。

怎样确认已经完成

真实apizt API响应HTTP200
模型结构化事实与原始材料一致
重复键在解析阶段被拒绝
两个原值均保留
正常负对照通过

常见问题

AI JSON 重复键检查怎么开始？

从 input.json 取出 raw_json 原始字符串，确认 price 在同一个对象中出现两次，两个值分别为19.90和29.90；先保留文本，不直接转成普通字典。按本页顺序继续，先用下载包离线重放，再替换自己的材料。

网页试跑和下载包有什么区别？

网页只复跑模型字段，不生成全部原生文件；资料包包含实际原生处理和本地验收。

这次通过结果适用于其他材料吗？

本例只验证合成材料和本地原生文件；不连接真实客户数据，不代表第三方SaaS已运行。

资料来源

展开本页目录

开始前准备什么

独立练习目录及Python 3.14；系统与Node依赖以README为准。
离线重放无需Key；新请求使用自己的apizt Key，先核对模型权限和当前价格。
原创合成材料，不需要登录第三方平台账号。

先看文件
按步骤操作
对照真实结果
离线或模型复跑

下载本例输入、代码、真实回执和产物

默认离线重放；包含完整失败尝试与本地检查，不含Key。

1. 核对本例材料与目标文件

区别一般JSON Schema，先在解析阶段识别被覆盖键。需人工重叠复核。

先下载合成材料在独立目录练习。原始文件、模型输入与验收答案分别保留；本地核对答案不发送给模型。

input.json（节选）

json

{
  "raw_json": "{\"order_id\":\"D-11\",\"price\":\"19.90\",\"price\":\"29.90\",\"currency\":\"CNY\"}"
}

2. 按顺序完成这项具体操作

1. 从 input.json 取出 raw_json 原始字符串，确认 price 在同一个对象中出现两次，两个值分别为19.90和29.90；先保留文本，不直接转成普通字典。
2. 让 apizt 按原文顺序列出 price_values 并给出是否待核的 decision；保存实际回执，核对两个原值均未被摘要丢弃。
3. 使用 JSON 的 object_pairs_hook 保留键值对，按键收集全部出现值；遇到重复键时阻止严格对象解析，不让后一价格覆盖前一价格。
4. 打开 duplicate-key-conflicts.csv 与 result.json，检查 price 的冲突值仍为两项，并对照普通字典解析只留下后一值的差异。
5. 用只有一个 price 的本地对照JSON验证正常解析；再验证原重复键样例确实被严格解析器拒绝，不能仅凭 JSON 语法合法就继续导入。

独立练习目录 · 默认仅离线复核

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
python run.py

3. 对照真正发送的请求

网页实验台只执行这一步模型字段检查。原生文件写入、坐标/公式/格式回读及负例验收由下载包负责。

request-1.json（图片Base64省略，原文件在下载包）

json

{
  "model": "gemini-2.5-flash-lite",
  "messages": [
    {
      "role": "system",
      "content": "严格只输出单个JSON对象，不要Markdown代码围栏，不要解释。只处理给定原创虚构材料，只输出JSON。源文本是原始JSON片段；用price_values按原文顺序列出所有price值（字符串），decision为review或accept；不要把后一键覆盖前一键。 输出结构：{\"price_values\": [\"string\"], \"decision\": \"string\"}"
    },
    {
      "role": "user",
      "content": "任务约束（只输出JSON对象，不用代码围栏）：\n只处理给定原创虚构材料，只输出JSON。源文本是原始JSON片段；用price_values按原文顺序列出所有price值（字符串），decision为review或accept；不要把后一键覆盖前一键。 输出结构：{\"price_values\": [\"string\"], \"decision\": \"string\"}\n待处理合成材料：\n{\"raw_json\": \"{\\\"order_id\\\":\\\"D-11\\\",\\\"price\\\":\\\"19.90\\\",\\\"price\\\":\\\"29.90\\\",\\\"currency\\\":\\\"CNY\\\"}\"}"
    }
  ],
  "temperature": 0,
  "max_tokens": 1024,
  "provider": {
    "sort": "success_rate"
  },
  "response_format": {
    "type": "json_object"
  }
}

4. 查看原生处理代码与实际文件

下面节选来自本次实际执行的workflow.py分支，需要结合完整脚本运行。模型输出不能代替文件解析器或业务验算。

具体产物：duplicate-key-conflicts.csv、result.json、checks.json、preview.html。

workflow.py · 本例分支节选

python

pairs = json.loads(data['raw_json'], object_pairs_hook=lambda p: p)
seen = defaultdict(list)
for k, v in pairs:
    seen[k].append(v)
conflict = [{'key': k, 'values': v} for k, v in seen.items() if len(v) > 1]

def strict(p):
    keys = [k for k, v in p]
    if len(keys) != len(set(keys)):
        raise ValueError('duplicate JSON key')
    return dict(p)
rejected = False
try:
    json.loads(data['raw_json'], object_pairs_hook=strict)
except ValueError:
    rejected = True
check('重复键在解析阶段被拒绝', rejected)
check('两个原值均保留', seen['price'] == output['price_values'] == ['19.90', '29.90'])
check('正常负对照通过', json.loads('{"price":"19.90"}', object_pairs_hook=strict) == {'price': '19.90'})
cout('duplicate-key-conflicts.csv', conflict)
result = {'decision': 'review', 'conflicts': conflict, 'ordinary_parser_loss': json.loads(data['raw_json'])['price']}

5. 对照真实结果和检查表

最后一次返回用量236tokens；1份尝试记录的已知用量合计236。失败记录保留，用量缺失不按0计，本文不推算实际金额。

实际检查	结果
真实apizt API响应HTTP200	通过
模型结构化事实与原始材料一致	通过
重复键在解析阶段被拒绝	通过
两个原值均保留	通过
正常负对照通过	通过

实际检查: 真实apizt API响应HTTP200
结果: 通过

实际检查: 模型结构化事实与原始材料一致
结果: 通过

实际检查: 重复键在解析阶段被拒绝
结果: 通过

实际检查: 两个原值均保留
结果: 通过

实际检查: 正常负对照通过
结果: 通过

result.json · 原生处理后实际结果

json

{
  "decision": "review",
  "conflicts": [
    {
      "key": "price",
      "values": [
        "19.90",
        "29.90"
      ]
    }
  ],
  "ordinary_parser_loss": "29.90"
}

6. 替换输入前，先确认这些边界

本例只验证合成材料和本地原生文件；不连接真实客户数据，不代表第三方SaaS已运行。

怎样确认已经完成

真实apizt API响应HTTP200
模型结构化事实与原始材料一致
重复键在解析阶段被拒绝
两个原值均保留
正常负对照通过

常见问题

AI JSON 重复键检查怎么开始？

网页试跑和下载包有什么区别？

网页只复跑模型字段，不生成全部原生文件；资料包包含实际原生处理和本地验收。

这次通过结果适用于其他材料吗？

本例只验证合成材料和本地原生文件；不连接真实客户数据，不代表第三方SaaS已运行。

AI提取JSON重复字段：解析成功不等于没有覆盖

先看结论

开始前准备什么

1. 核对本例材料与目标文件

2. 按顺序完成这项具体操作

3. 对照真正发送的请求

4. 查看原生处理代码与实际文件

5. 对照真实结果和检查表

6. 替换输入前，先确认这些边界

怎样确认已经完成

常见问题

资料来源

先复核这份结果，再处理自己的材料

1. 下载完整样例

2. 离线检查业务结果

3. 需要新结果时，再调用 API

AI提取JSON重复字段：解析成功不等于没有覆盖

先看结论

开始前准备什么

1. 核对本例材料与目标文件

2. 按顺序完成这项具体操作

3. 对照真正发送的请求

4. 查看原生处理代码与实际文件

5. 对照真实结果和检查表

6. 替换输入前，先确认这些边界

怎样确认已经完成

常见问题

资料来源

先复核这份结果，再处理自己的材料

1. 下载完整样例

2. 离线检查业务结果

3. 需要新结果时，再调用 API