面向机器学习与数据团队的 AI 检测

面向机器学习工程师和数据科学家的 AI 检测工具

优化大型语言模型(LLM)的训练和数据筛选。通过以99.98%的准确率和高性能API,从预训练或微调数据集中过滤合成文本,从而防止模型崩溃。

由谷歌、特斯拉和斯坦福大学的研究人员开发。经ICLR和马里兰大学验证。

filter_pipeline.py
from pangram import Pangram

# Filter synthetic data from corpus
client = Pangram(api_key="your-api-key")
clean_corpus = []

for doc in training_corpus:
  result = client.predict(doc.text)
  if result['fraction_ai'] < 0.3:
    clean_corpus.append(doc)

print(f"Corpus: {len(clean_corpus)} clean docs")

家全球品牌信赖之选
画布谷歌课堂Quora特雷莫透明度公司新闻卫士聊天PDF精选哈罗地平线Qwoted监考员精英导师已验证我的写作振动等级WHE维基教育画布谷歌课堂Quora特雷莫透明度公司新闻卫士聊天PDF精选哈罗地平线Qwoted监考员精英导师已验证我的写作振动等级WHE维基教育

用例

请勿使用低质量数据训练您的模型

合成文本正在污染公共数据集。利用最精准的AI检测引擎,从您的训练管道中过滤掉AI生成的内容,以保持语料库的纯净度。

人工智能数据分析

防止模型坍缩

对人工智能生成的内容进行递归训练会降低模型性能并削弱多样性。请在您的数据抓取管道中识别并过滤人工智能生成的内容,以确保语料库的纯净度。

RLHF 验证

验证 RLHF 输入

确保您的人工反馈(RLHF)数据确实来自真人。检测众包工作者是否在使用ChatGPT来生成您微调任务的回答。

细粒度分析

细粒度可解释性

不要满足于简单的二元标签。我们的高级 API 会返回标记级别的概率值,让您既能保留人工编辑的片段,又能剔除完全由机器生成的“垃圾内容”。

技术方法

一个值得信赖的模型

专为需要对数据过滤充满信心的工程师打造。我们的模型解决了误报、对抗鲁棒性以及不断演变的AI输出等问题。

硬负面挖掘

我们使用“硬性负面样本”(即风格上较为正式或重复的人类文本)进行训练,以最大限度地减少误判,确保您不会丢弃有价值的人类数据。

对抗鲁棒性

Pangram 能够处理经过改写或修改的 AI 生成的内容。我们的模型经过针对“人性化生成器”和对抗性攻击的训练,能够检测出经过混淆处理的合成文本。

面向未来

可识别来自最新模型(包括 GPT-5、Claude 3.5 和 Llama 3)生成的文本,确保您的过滤器始终领先于当前最先进的技术水平。

集成

专为您的
数据管道打造

01

Python 软件开发工具包

只需几行代码,即可安装 pangram-sdk 并将检测功能集成到您的 Airflow 或 Databricks 管道中。该工具针对连接池和错误处理进行了优化。

查看文档 →

02


高吞吐量API

以低延迟处理海量数据集。我们的基础设施支持批量处理并保证吞吐量,能够处理企业级数据抓取操作中的数百万条请求。

获取 API 密钥 →

03

安全与《
》合规性

已通过完整的 SOC 2 Type 2 认证。我们提供专用终端节点和严格的数据保留政策——我们绝不会使用您的专有数据进行训练。

了解更多 →

常见问题解答

AI检测常见问题解答

面向机器学习工程师
和数据科学家的关于 AI 检测的常见问题。

我们的模型是在一个包含数百万份人类与AI文档配对的、多样化的专有数据集上训练而成的。我们利用主动学习技术来针对边缘案例,并专门减少对非母语写作者的偏见。
该 API 返回一个预测分数(0.0 到 1.0)和一个分类标签。高级接口提供窗口级分析,用于可视化文档中的“突发性”和语法模式。
不。对于企业客户,我们提供零保留保证:数据在内存中处理,并在评分完成后立即删除,以确保隐私安全。
是的。我们会在前沿模型(如 Gemini Ultra 和 GPT-4)发布后的几天内,立即利用其输出结果对我们的分类器进行持续训练。
我们的模型专门针对对抗性攻击以及试图混淆合成文本的“人性化”算法进行了训练。通过在训练过程中采用硬负样本挖掘技术,我们最大限度地减少了在风格上符合规范的人类写作中出现的误报。

是的。您可以安装pangram-sdk,仅需几行代码即可将检测功能集成到 Airflow 或 Databricks 管道中。我们的 API 专为高吞吐量的企业级抓取操作进行了优化,能够以低延迟处理数百万次请求。

与二元检测器不同,Pangram 提供词元级别的概率。这种精细的可解释性使您能够识别并保留人工编辑的片段,同时从训练数据集中过滤掉完全合成的“垃圾”内容。
使用 Pangram 有助于防止模型崩溃。通过从爬取管道中过滤掉递归生成的 AI 内容,您可以保持语料库的纯净度,并确保模型不会因使用劣质数据进行训练而导致性能或多样性下降。

今天就清理您的训练数据吧

防止模型崩溃,验证RLHF输入,并以99.98%的准确率从数据集中过滤合成内容。