Hub documentation
예제 및 튜토리얼
예제 및 튜토리얼
모델 학습
Transformers, TRL, Unsloth, Axolotl의 시작 명령어는 Jobs에서 모델 학습에 있습니다. 각각 해당 라이브러리의 가이드로 연결됩니다.
대규모로 데이터 처리
DataTrove는 데이터 처리 파이프라인을 Job 풀에 분산하기 위한 실험적인 JobsPipelineExecutor를 제공합니다. 동시성 제한, 다단계 의존성, 재시도, 재개 가능한 실행을 지원하며, 파이프라인을 다시 실행하면 이미 완료된 작업을 건너뛰고 나머지 작업만 실행합니다.
다음과 같이 바로 실행할 수 있는 예제를 확인하세요:
UV 스크립트
uv-scripts 조직은 단일 명령어로 Jobs에서 실행되는 자체 완결형 uv 스크립트 모음을 관리합니다. 스크립트는 OCR, 배치 추론, 텍스트 분류, 객체 감지, 데이터셋 통계, 임베딩 시각화 등을 다룹니다.
Unsloth는 Jobs에서 LLM 및 VLM을 파인튜닝하기 위한 즉시 실행 가능한 학습 스크립트도 제공합니다.
코딩 에이전트 스킬
Claude Code, Codex, Cursor와 같은 코딩 에이전트는 대신 Jobs를 제출하고 모니터링할 수 있습니다. 설치된 CLI에서 생성되어 최신 상태를 유지하도록 hf CLI 스킬을 설치하세요:
hf skills add
에이전트별 설정은 Hugging Face CLI for AI agents를, 학습 및 기타 워크플로 스킬은 Agent Skills를 참고하세요.
샌드박스
Jobs의 포트 노출 기능 덕분에, 에이전트와 LLM 애플리케이션이 사용하는 임시 자체 포함 환경인 샌드박스를 구축하는 데 적합합니다.
커뮤니티 튜토리얼 및 프로젝트
- 다운로드 없이 대규모 데이터셋으로 학습 - Unsloth를 사용하여 Jobs에서 데이터셋을 직접 스트리밍하며, 로컬 저장소가 필요하지 않습니다
- TRL로 비전-언어 모델 파인튜닝 - TRL과 Jobs를 사용하여 Qwen2.5-VL을 미술사 작업에 맞게 파인튜닝
- FreeFlow - YOLOv11 객체 감지 모델 학습을 위한 내장된 Jobs 통합 기능을 갖춘 오픈소스 어노테이션 플랫폼
- hfdask - 하나의 YAML 클러스터 정의에서 CPU 및 GPU Job에 걸쳐 Dask 프로그램을 실행하며, 노드 간 mTLS 및 자동 클리닝을 지원합니다
Jobs를 사용하는 튜토리얼이나 프로젝트가 있으신가요? PR을 열어 여기에 추가해 주세요.
Update on GitHub