开源项目
Pointblank 原创编辑头图:表格里的检查规则与通过失败计数

Pointblank:用 Python 校验表格数据并生成报告

Pointblank

完全免费

用 Python 校验表格数据并生成报告

内容摘要

Pointblank 是一个 Python 数据验证库。先为表格写好必填、取值范围等规则,再从报告查看哪些检查没通过,并追到对应的记录。它能与 Pandas 或 Polars 配合,也提供训练数据质量检查;免费开源,需要 Python 3.10 或更新版本。

给数据表写校验计划并生成可读报告

日常处理表格数据时,可以用一套统一的 Python 接口给 Polars、Pandas、PySpark,以及 DuckDB、PostgreSQL、MySQL、SQLite、SQL Server、Snowflake、BigQuery、Databricks 等数据库表或 CSV、Parquet 文件编写验证计划。

校验流程直观:先传入数据表,链式添加检查步骤,最后执行汇总。常见规则可以直接组合成计划:

  • 字段与取值检查:核对指定列是否存在,验证数值是否大于、小于或落在指定区间,判断分类字段是否属于预设集合,或用正则表达式校验邮箱等格式。
  • 缺失与重复排查:可以按列名后缀挑选要检查空值的列。官方发行说明列出的四项空值检查,会在各后端把 NaN 计入缺失值;还可以排查重复行,或用专项检查找近似重复文本。
  • 结果核对与分流:校验完成后会生成支持 40 种语言的表格报告,方便发给不看代码的同事核对检查项与失败情况。后续可以单独查看某一步的异常明细、提取失败行用于排查,或直接把原表拆成通过与未通过两部分,也可以设置警告、错误和严重三个级别的阈值,超过阈值时执行自己配置的动作。

把模型训练与评测数据纳入同一套验证计划

11 月 12 日发布的正式版将模型训练与评估阶段的数据质量检查整合进了同一套校验流程,不只是按规则筛查脏数据,还能结合模型表现评估每条规则的实际价值:

  • 训练数据消融对比:通过消融分析功能,先把某一步校验标记为异常的行剔除并重新训练模型,再与剔除等量随机行的结果做配对比较,给出有帮助、有损害或证据不足的结论。这能帮开发者看清某条过滤规则到底有没有用,而不是默认删掉异常行就一定能提升模型表现或替代清洗决策。
  • 模型打分与文本专项检查:支持调用嵌入相似度、重排序、分类器、语言识别、困惑度或词元计数等适配器给每一行打分,并按分数上下限校验;分数可缓存在内存或本地文件中供后续续跑。针对文本和检索语料,还能直接串联启发式文本质量过滤、语言核对、词元长度、个人信息排查、近似去重、基准测试集污染检测以及对话格式检查。
  • 数据集切分与合成数据核查:检查训练集与验证集等切分之间是否存在完全相同或近似泄漏的样本、缺失标签以及列分布漂移;对比合成数据与真实数据的分布保真度、文本多样性和种子行复刻情况,并支持基于校验和消融结果生成数据集说明卡。

环境要求与按需安装依赖

项目基于 MIT 许可证开源,要求 Python 3.10 及以上版本。基础安装只需搭配 Polars 或 Pandas 之一即可开始日常表格校验(分别要求 Polars 1.33.0 或 Pandas 2.2.3 及以上)。

数据库连接、机器学习评估等扩展能力与日常校验分开管理。需要用到内置的机器学习评估器时,再单独安装对应的机器学习可选依赖(要求 scikit-learn 1.4.2 及以上);各类打分适配器也只在首次调用时才导入对应扩展包。如果接入外部大模型裁判或云端数据库后端,需自行准备相应的运行环境与服务权限,处理包含个人信息的敏感语料时建议优先使用本地检查方法。

资料来源

库本身免费 · 无需登录 · 无需绑卡

官方网站 · github.comMIT · github.com

免费吧编辑设计 · Posit Software, PBC · 图片许可

Posit Software, PBC · MIT · 图片许可

Posit Software, PBC · MIT · 图片许可

资料核对于 2026年11月16日

相关资源