{
 "schema": "gaige-receipt-export/1",
 "exported_by": "gaige 0.0.2",
 "receipt": {
  "id": "20260727-193225-fast-detect-gpt",
  "generated_utc": "2026-07-28T00:44:59+00:00",
  "gaige_version": "0.0.1"
 },
 "instrument": {
  "host": {
   "os": "Linux",
   "arch": "x86_64",
   "device": "cpu"
  },
  "detector": {
   "detector": "fast-detect-gpt",
   "paper": "Bao et al., Fast-DetectGPT (ICLR 2024), analytic single-model variant",
   "model_id": "EleutherAI/gpt-neo-1.3B",
   "quant_requested": "fp32",
   "quant_verified": {
    "linear4bit_modules": 0,
    "resident_gb": 5.26
   },
   "max_tokens": 1024,
   "versions": {
    "torch": "2.13.0+cu130",
    "transformers": "4.49.0",
    "cuda": "13.0",
    "python": "3.12.3",
    "bitsandbytes": "0.49.2"
   },
   "device": "cpu",
   "device_requested": "cpu",
   "device_fallback": false,
   "model_auto_selected": false,
   "compute": {
    "name": "x86_64"
   },
   "score_semantics": "analytic sampling discrepancy; higher = more AI-like; RAW criterion (uncalibrated by design)"
  }
 },
 "corpus": {
  "name": "raid-g2d2a2-n60-s17",
  "sha256": "54b786694f2e4c0d4d9a4596c56b179d9a724a6bf39dd593c9e6eb53ce48a1cf",
  "counts": {
   "ai": 480,
   "human": 120
  },
  "meta": {
   "source": "corpora/raid-g2d2a2-n60-s17.jsonl"
  }
 },
 "metrics": {
  "auroc": 0.9329861111111111,
  "auroc_ci": [
   0.9117131076388889,
   0.9521232638888888
  ],
  "eer": 0.13541666666666663,
  "eer_threshold": 0.9699762910604477,
  "n_boot": 1000
 },
 "thresholds": [
  {
   "target_fpr": 0.01,
   "threshold": 2.3904128074645996,
   "achieved_fpr": 0.008333333333333333,
   "achieved_tpr": 0.58125,
   "tpr_ci": [
    0.5416666666666666,
    0.6270833333333333
   ]
  },
  {
   "target_fpr": 0.05,
   "threshold": 1.4957356452941895,
   "achieved_fpr": 0.05,
   "achieved_tpr": 0.7770833333333333,
   "tpr_ci": [
    0.7416666666666667,
    0.8145833333333333
   ]
  }
 ],
 "conformal": [
  {
   "alpha": 0.05,
   "threshold": 1.5727196931838991,
   "n_calibration": 120,
   "order_statistic": 115,
   "conditional_fpr_mean": 0.049586776859504134,
   "conditional_fpr_sd": 0.01965437598214347,
   "guarantee": "P(human flagged) <= 0.05, marginal over calibration draws, under exchangeability (split conformal)",
   "tpr": 0.7645833333333333
  },
  {
   "alpha": 0.01,
   "threshold": 2.735493421554566,
   "n_calibration": 120,
   "order_statistic": 120,
   "conditional_fpr_mean": 0.008264462809917356,
   "conditional_fpr_sd": 0.008196441383148177,
   "guarantee": "P(human flagged) <= 0.01, marginal over calibration draws, under exchangeability (split conformal)",
   "tpr": 0.49375
  },
  {
   "alpha": 0.005,
   "unavailable": "alpha=0.005 needs >= 199 human calibration samples, got 120. A tighter guarantee than your data supports is not a guarantee."
  }
 ],
 "subgroups": {
  "min_subgroup": 20,
  "by_threshold": [
   {
    "target_fpr": 0.01,
    "threshold": 2.3904128074645996,
    "strata": {
     "length_bucket": {
      "0-100w": {
       "n_human": 2,
       "n_ai": 83,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.39759036144578314,
       "tpr_ci": [
        0.30120481927710846,
        0.5060240963855421
       ],
       "rate_withheld": true
      },
      "100-250w": {
       "n_human": 110,
       "n_ai": 330,
       "fpr": 0.00909090909090909,
       "fpr_ci": [
        0.0,
        0.02727272727272727
       ],
       "tpr": 0.6181818181818182,
       "tpr_ci": [
        0.5636363636363636,
        0.6696969696969697
       ],
       "rate_withheld": false
      },
      "250-500w": {
       "n_human": 8,
       "n_ai": 67,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.6268656716417911,
       "tpr_ci": [
        0.5074626865671642,
        0.746268656716418
       ],
       "rate_withheld": true
      }
     },
     "attack": {
      "none": {
       "n_human": 120,
       "n_ai": 240,
       "fpr": 0.008333333333333333,
       "fpr_ci": [
        0.0,
        0.025
       ],
       "tpr": 0.5916666666666667,
       "tpr_ci": [
        0.5291666666666667,
        0.6501041666666666
       ],
       "rate_withheld": false
      },
      "paraphrase": {
       "n_human": 0,
       "n_ai": 240,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.5708333333333333,
       "tpr_ci": [
        0.5125,
        0.6333333333333333
       ],
       "rate_withheld": true
      }
     },
     "decoding": {
      "greedy": {
       "n_human": 0,
       "n_ai": 218,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.8302752293577982,
       "tpr_ci": [
        0.7798165137614679,
        0.8807339449541285
       ],
       "rate_withheld": true
      },
      "none": {
       "n_human": 120,
       "n_ai": 0,
       "fpr": 0.008333333333333333,
       "fpr_ci": [
        0.0,
        0.025
       ],
       "tpr": null,
       "tpr_ci": null,
       "rate_withheld": true
      },
      "sampling": {
       "n_human": 0,
       "n_ai": 262,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.37404580152671757,
       "tpr_ci": [
        0.31679389312977096,
        0.4389312977099237
       ],
       "rate_withheld": true
      }
     },
     "domain": {
      "abstracts": {
       "n_human": 60,
       "n_ai": 240,
       "fpr": 0.016666666666666666,
       "fpr_ci": [
        0.0,
        0.05
       ],
       "tpr": 0.5333333333333333,
       "tpr_ci": [
        0.4666666666666667,
        0.5958333333333333
       ],
       "rate_withheld": false
      },
      "reddit": {
       "n_human": 60,
       "n_ai": 240,
       "fpr": 0.0,
       "fpr_ci": [
        0.0,
        0.0
       ],
       "tpr": 0.6291666666666667,
       "tpr_ci": [
        0.5708333333333333,
        0.6833333333333333
       ],
       "rate_withheld": false
      }
     },
     "generator": {
      "gpt4": {
       "n_human": 0,
       "n_ai": 240,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.5125,
       "tpr_ci": [
        0.44989583333333344,
        0.575
       ],
       "rate_withheld": true
      },
      "human": {
       "n_human": 120,
       "n_ai": 0,
       "fpr": 0.008333333333333333,
       "fpr_ci": [
        0.0,
        0.025
       ],
       "tpr": null,
       "tpr_ci": null,
       "rate_withheld": true
      },
      "mistral-chat": {
       "n_human": 0,
       "n_ai": 240,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.65,
       "tpr_ci": [
        0.5875,
        0.7126041666666666
       ],
       "rate_withheld": true
      }
     }
    },
    "max_fpr_disparity": {
     "length_bucket": null,
     "attack": null,
     "decoding": null,
     "domain": {
      "gap": 0.016666666666666666,
      "worst_group": "abstracts",
      "worst_fpr": 0.016666666666666666,
      "best_group": "reddit",
      "best_fpr": 0.0,
      "ratio": null
     },
     "generator": null
    }
   },
   {
    "target_fpr": 0.05,
    "threshold": 1.4957356452941895,
    "strata": {
     "length_bucket": {
      "0-100w": {
       "n_human": 2,
       "n_ai": 83,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.7349397590361446,
       "tpr_ci": [
        0.6385542168674698,
        0.8192771084337349
       ],
       "rate_withheld": true
      },
      "100-250w": {
       "n_human": 110,
       "n_ai": 330,
       "fpr": 0.045454545454545456,
       "fpr_ci": [
        0.00909090909090909,
        0.08181818181818182
       ],
       "tpr": 0.796969696969697,
       "tpr_ci": [
        0.7545454545454545,
        0.8393939393939394
       ],
       "rate_withheld": false
      },
      "250-500w": {
       "n_human": 8,
       "n_ai": 67,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.7313432835820896,
       "tpr_ci": [
        0.6268656716417911,
        0.835820895522388
       ],
       "rate_withheld": true
      }
     },
     "attack": {
      "none": {
       "n_human": 120,
       "n_ai": 240,
       "fpr": 0.05,
       "fpr_ci": [
        0.016666666666666666,
        0.09166666666666666
       ],
       "tpr": 0.6958333333333333,
       "tpr_ci": [
        0.6375,
        0.7541666666666667
       ],
       "rate_withheld": false
      },
      "paraphrase": {
       "n_human": 0,
       "n_ai": 240,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.8583333333333333,
       "tpr_ci": [
        0.8125,
        0.9
       ],
       "rate_withheld": true
      }
     },
     "decoding": {
      "greedy": {
       "n_human": 0,
       "n_ai": 218,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.9678899082568807,
       "tpr_ci": [
        0.944954128440367,
        0.9908256880733946
       ],
       "rate_withheld": true
      },
      "none": {
       "n_human": 120,
       "n_ai": 0,
       "fpr": 0.05,
       "fpr_ci": [
        0.016666666666666666,
        0.09166666666666666
       ],
       "tpr": null,
       "tpr_ci": null,
       "rate_withheld": true
      },
      "sampling": {
       "n_human": 0,
       "n_ai": 262,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.6183206106870229,
       "tpr_ci": [
        0.5610687022900763,
        0.6793893129770993
       ],
       "rate_withheld": true
      }
     },
     "domain": {
      "abstracts": {
       "n_human": 60,
       "n_ai": 240,
       "fpr": 0.05,
       "fpr_ci": [
        0.0,
        0.11666666666666667
       ],
       "tpr": 0.7416666666666667,
       "tpr_ci": [
        0.6875,
        0.7916666666666666
       ],
       "rate_withheld": false
      },
      "reddit": {
       "n_human": 60,
       "n_ai": 240,
       "fpr": 0.05,
       "fpr_ci": [
        0.0,
        0.11666666666666667
       ],
       "tpr": 0.8125,
       "tpr_ci": [
        0.7666666666666667,
        0.8625
       ],
       "rate_withheld": false
      }
     },
     "generator": {
      "gpt4": {
       "n_human": 0,
       "n_ai": 240,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.7333333333333333,
       "tpr_ci": [
        0.6790625000000001,
        0.7834374999999999
       ],
       "rate_withheld": true
      },
      "human": {
       "n_human": 120,
       "n_ai": 0,
       "fpr": 0.05,
       "fpr_ci": [
        0.016666666666666666,
        0.09166666666666666
       ],
       "tpr": null,
       "tpr_ci": null,
       "rate_withheld": true
      },
      "mistral-chat": {
       "n_human": 0,
       "n_ai": 240,
       "fpr": null,
       "fpr_ci": null,
       "tpr": 0.8208333333333333,
       "tpr_ci": [
        0.7708333333333334,
        0.8708333333333333
       ],
       "rate_withheld": true
      }
     }
    },
    "max_fpr_disparity": {
     "length_bucket": null,
     "attack": null,
     "decoding": null,
     "domain": {
      "gap": 0.0,
      "worst_group": "abstracts",
      "worst_fpr": 0.05,
      "best_group": "abstracts",
      "best_fpr": 0.05,
      "ratio": 1.0
     },
     "generator": null
    }
   }
  ]
 },
 "base_rate": {
  "volume": 75000,
  "volume_note": "default is Vanderbilt's published 75,000 submissions/year",
  "at": [
   {
    "target_fpr": 0.01,
    "expected_false_positives": 750.0,
    "ppv_at_prevalence": [
     {
      "prevalence": 0.01,
      "ppv": 0.36992840095465396
     },
     {
      "prevalence": 0.1,
      "ppv": 0.8659217877094971
     },
     {
      "prevalence": 0.5,
      "ppv": 0.9830866807610994
     }
    ]
   },
   {
    "target_fpr": 0.05,
    "expected_false_positives": 3750.0,
    "ppv_at_prevalence": [
     {
      "prevalence": 0.01,
      "ppv": 0.13568570389232448
     },
     {
      "prevalence": 0.1,
      "ppv": 0.633276740237691
     },
     {
      "prevalence": 0.5,
      "ppv": 0.9395465994962217
     }
    ]
   }
  ]
 },
 "reproduce": {
  "run": "gaige run --corpus corpora/raid-g2d2a2-n60-s17.jsonl --n 100 --seed 17 --detector fast-detect-gpt --model EleutherAI/gpt-neo-1.3B --quant fp32 --device cpu --max-tokens 1024",
  "corpus_note": "This receipt was produced from a locally prepared corpus file. The corpus sha256 above pins the exact bytes; the file itself is not redistributed. RAID slices (Dugan et al., ACL 2024) are prepared from the public dataset with `gaige corpus prepare-raid` and are never redistributed."
 }
}