DataTrove

DataTrove

github.com

Hugging Face 开源的大规模文本数据处理库，提供可定制的流水线模块，用于过滤、去重和清洗 LLM 训练数据。

开源可自部署命令行LinuxMacWindows

GitHub ★ 3,414被推荐 1 次

访问网站 ↗

适合做什么

适合需要处理海量文本数据、构建 LLM 训练数据集的工程师和研究人员，用于数据清洗、过滤与去重。

标签与属性

价格

特性

平台

命令行 Linux Mac Windows

同类推荐

模型社区与下载

Hugging Face

全球最大的开源机器学习社区，托管海量模型、数据集与应用，并提供推理与算力服务。

免费+付费有 API可自部署多模态通义千问

huggingface.co1 处推荐

数据集 / 数据标注

Hugging Face Datasets

★ 22,108

Hugging Face 官方数据集库，一行代码加载海量公开数据集并高效预处理。

开源可自部署多模态LinuxMac

github.com1 处推荐

数据集 / 数据标注

Label Studio

★ 28,399

开源多类型数据标注工具，支持图像、文本、音频、视频等标注并导出多种模型格式

开源有 API可自部署LinuxMac

labelstud.io2 处推荐

模型社区与下载

Google Research

★ 38,882

Google Research 官方开源代码仓库，汇集各研究项目的代码与数据集。

开源网页

github.com1 处推荐

数据集 / 数据标注

Cleanlab

★ 11,728

开源数据中心 AI 工具库，自动检测标签错误、离群点、重复等数据质量问题。

开源可自部署LinuxMacWindows

github.com1 处推荐

数据集 / 数据标注

Labelme

★ 16,257

Python 编写的开源图像标注工具，支持多边形、矩形等标注及 SAM/YOLO 辅助标注。

开源可自部署本地模型WindowsMac

github.com1 处推荐