Hub documentation
Daft
Daft
Daft 是一个高性能数据引擎，为任意模态和规模提供简单可靠的数据处理。Daft 原生支持从 Hugging Face 数据集读取和写入。
入门
要开始使用，请通过 huggingface 功能安装 daft：
pip install 'daft[huggingface]'阅读
Daft 能够使用 daft.read_huggingface() 函数或通过 hf://datasets/ 协议直接从 Hugging Face Hub 读取数据集。
读取整个数据集
使用 daft.read_huggingface()，您可以轻松加载数据集。
import daft
df = daft.read_huggingface("username/dataset_name")这将把整个数据集读取到一个 DataFrame 中。
读取特定文件
您不仅可以读取整个数据集，还可以从数据集仓库中读取单个文件。使用接受路径作为参数的读取函数（例如 daft.read_parquet()、daft.read_csv() 或 daft.read_json()），通过 hf://datasets/ 前缀指定 Hugging Face 数据集路径：
import daft
# read a specific Parquet file
df = daft.read_parquet("hf://datasets/username/dataset_name/file_name.parquet")
# or a csv file
df = daft.read_csv("hf://datasets/username/dataset_name/file_name.csv")
# or a set of Parquet files using a glob pattern
df = daft.read_parquet("hf://datasets/username/dataset_name/**/*.parquet")写入
Daft 可以使用 daft.DataFrame.write_huggingface 将 Parquet 文件写入 Hugging Face 数据集仓库。Daft 支持 Content-Defined Chunking 和 Xet，以实现更快的去重写入。
基本用法：
import daft
df: daft.DataFrame = ...
df.write_huggingface("username/dataset_name")有关更多信息，请参阅 DataFrame.write_huggingface API 页面。
身份验证
daft.io.HuggingFaceConfig 中的 token 参数可用于指定 Hugging Face 访问令牌，以处理需要身份验证的请求（例如读取私有数据集仓库或写入数据集仓库）。
使用指定令牌加载数据集的示例：
from daft.io import IOConfig, HuggingFaceConfig
io_config = IOConfig(hf=HuggingFaceConfig(token="your_token"))
df = daft.read_parquet("hf://datasets/username/dataset_name", io_config=io_config)