ЛАНДШАФТ ИНСТРУМЕНТОВ ДЛЯ ДОКУМЕНТИРОВАНИЯ В ML

Разработка фреймворка model cards в 2018 году была вдохновлена крупными инициативами в области документирования, такими как Data Statements for Natural Language Processing (Bender & Friedman, 2018) и Datasheets for Datasets (Gebru et al., 2018). С момента предложения model cards было предложено ряд других инструментов для документирования и оценки различных аспектов цикла разработки машинного обучения. Эти инструменты, включая model cards и связанные с ними инициативы по документированию, предложенные до model cards, можно рассматривать в контексте их фокуса (например, на какую часть жизненного цикла ML-системы направлен инструмент?) и целевой аудитории (например, для кого предназначен инструмент?). На рисунках 1–2 ниже мы обобщаем несколько известных инструментов документирования по этим измерениям, предоставляем контекстные описания каждого инструмента и ссылки на примеры. Мы в широком смысле классифицируем инструменты документирования как принадлежащие к следующим группам:

• Сосредоточенные на данных, включая инструменты документации, ориентированные на наборы данных, используемые в жизненном цикле системы машинного обучения
• Сосредоточенные на моделях и методах, включая инструменты документации, ориентированные на модели и методы машинного обучения; и
• Системно-ориентированный, включая инструменты документирования, сфокусированные на ML-системах, в том числе на моделях, методах, наборах данных, API и не-AI/ML компонентах, которые взаимодействуют друг с другом в рамках ML-системы

Эти группировки не являются взаимоисключающими; они включают пересекающиеся аспекты жизненного цикла ML-системы. Например, system cards сосредоточены на документировании ML-систем, которые могут включать несколько моделей и наборов данных, и, следовательно, могут содержать контент, пересекающийся с инструментами документирования, ориентированными на данные или модели. Описанные инструменты представляют собой не исчерпывающий список инструментов документирования для жизненного цикла ML-системы. В целом, мы включали инструменты, которые:

• Сосредоточена на документировании некоторых (или нескольких) аспектов жизненного цикла ML-системы
• Включает выпуск шаблона, предназначенного для многократного использования, внедрения и адаптации

Сводка инструментов документации по машинному обучению

Рисунок 1

Этап жизненного цикла ML-системы	Инструмент	Краткое описание	Примеры
ДАННЫЕ	Технические паспорта (Gebru et al., 2018)	«Мы рекомендуем, чтобы каждый набор данных сопровождался datasheet, в котором описаны его мотивация, процесс создания, состав, предполагаемые способы использования, условия распространения, порядок поддержки и другая информация.»	См., например, репозиторий Айви Ли с примерами
ДАННЫЕ	Заявления о данных (Bender & Friedman, 2018)(Bender et al., 2021)	«Заявление о данных — это характеристика набора данных, которая предоставляет контекст, позволяющий разработчикам и пользователям лучше понимать, как экспериментальные результаты могут обобщаться, как программное обеспечение может быть надлежащим образом развёрнуто и какие предвзятости могут отражаться в системах, построенных на этом программном обеспечении.»	См. Заявления о данных для NLP Workshop
ДАННЫЕ	Питательные характеристики набора данных (Holland et al., 2018)	«Этикетка питания для набора данных… представляет собой диагностическую рамку, которая снижает порог входа в стандартизированный анализ данных, предоставляя сжатый, но всеобъемлющий обзор «ингредиентов» набора данных перед разработкой ИИ-модели».	См. Метку данных о питательной ценности
ДАННЫЕ	Карточки данных для NLP (McMillan-Major et al., 2021)	Мы представляем два примера создания шаблонов документации и руководств в области обработки естественного языка (NLP): хаб датасетов Hugging Face (HF)[^1] и бенчмарк для генерации и её оценки и метрик (GEM). В обоих случаях мы используем термин data card для обозначения документации к датасетам.	См. (McMillan-Major et al., 2021)
ДАННЫЕ	Документационная структура жизненного цикла разработки набора данных (Hutchinson et al., 2021)	«Мы представляем строгую рамку для обеспечения прозрачности при разработке наборов данных, которая поддерживает принятие решений и подотчетность. Рамка использует циклическую, инфраструктурную и инженерную природу разработки наборов данных, чтобы опираться на лучшие практики из жизненного цикла разработки программного обеспечения.»	См. (Hutchinson et al., 2021), Приложение A для шаблонов
ДАННЫЕ	Карточки данных (Pushkarna et al., 2021)	Data Cards представляют собой структурированные сводки ключевых фактов о различных аспектах ML-датасетов, необходимых заинтересованным сторонам на всех этапах жизненного цикла датасета для ответственного развития ИИ. Эти сводки содержат объяснения процессов и обоснований, формирующих данные, а следовательно, и модели.	См. Data Cards Playbook на GitHub
ДАННЫЕ	CrowdWorkSheets (Díaz et al., 2022)	«Мы представляем новый фреймворк CrowdWorkSheets, который позволяет разработчикам датасетов обеспечивать прозрачную документацию ключевых точек принятия решений на различных этапах конвейера аннотации данных: формулировка задачи, выбор аннотаторов, выбор платформы и инфраструктуры, анализ и оценка датасета, а также выпуск и сопровождение датасета».	См. (Díaz et al., 2022)
МОДЕЛИ И МЕТОДЫ	Карточки моделей Mitchell et al. (2018)	«Карточки моделей — это краткие документы, сопровождающие обученные модели машинного обучения и предоставляющие результаты бенчмарков в различных условиях… , релевантных целевым областям применения. Карточки моделей также раскрывают контекст, в котором модели предназначены для использования, детали процедур оценки производительности и другую релевантную информацию.»	См. https://huggingface.co/models, Model Card Guidebook и Model Card Examples
МОДЕЛИ И МЕТОДЫ	Карточки значений Shen et al. (2021)	«Мы представляем Value Cards — инструмент, основанный на обсуждении, который помогает студентам и специалистам в области информатики осознавать социальные последствия систем принятия решений на основе машинного обучения…. Value Cards поощряет исследование и обсуждение различных метрик производительности ML и их потенциальных компромиссов.»	См. Shen et al. (2021), раздел 3.3
МОДЕЛИ И МЕТОДЫ	Методические карточки Adkins et al. (2022)	«Мы предлагаем карточки методов, чтобы помочь ML-инженерам в процессе разработки моделей… Информация включает как предписательные, так и описательные элементы, при этом основное внимание уделяется тому, чтобы ML-инженеры могли правильно использовать эти методы.»	См. Adkins et al. (2022), Приложение A
МОДЕЛИ И МЕТОДЫ	Потребительские метки для моделей ML Seifert et al. (2019)	«Мы предлагаем вводить потребительские маркировки для обученных и опубликованных моделей машинного обучения. Эти маркировки в первую очередь ориентированы на людей, не являющихся специалистами в области машинного обучения, таких как операторы систем машинного обучения, исполнители решений и сами субъекты принятия решений»	См. Seifert et al. (2019)
СИСТЕМЫ	Фактологические листы Arnold et al. (2019)	«FactSheet будет содержать разделы по всем соответствующим атрибутам ИИ-сервиса, таким как предполагаемое использование, производительность, безопасность и защищённость. Раздел производительности будет включать надлежащие метрики точности или риска, а также информацию о времени выполнения.»	См. IBM’s AI Factsheets 360 и Hind et al., (2020)
СИСТЕМЫ	Системные карточки Procope et al. (2022)	System Cards призваны повысить прозрачность систем машинного обучения, предоставляя заинтересованным сторонам обзор различных компонентов системы машинного обучения, того, как эти компоненты взаимодействуют друг с другом, и того, как система использует различные фрагменты данных и защищенную информацию.	См. карточку системы ранжирования ленты Instagram от Meta
СИСТЕМЫ	Отчёты о вознаграждении для RL Gilbert et al. (2022)	«Мы предлагаем фреймворк для документирования развёрнутых систем машинного обучения, который мы называем Reward Reports… Мы описываем Reward Reports как «живые» документы, отслеживающие обновления проектных решений и допущений, лежащих в основе того, для чего оптимизируется конкретная автоматизированная система. Они предназначены для отслеживания динамических явлений, возникающих при развёртывании системы, а не только статических свойств моделей или данных.»	См. https://rewardreports.github.io
СИСТЕМЫ	Robustness Gym Goel et al. (2021)	«Мы выявляем проблемы при оценке систем NLP и предлагаем решение в виде Robustness Gym (RG) — простого и расширяемого набора инструментов для оценки, который объединяет четыре стандартных парадигмы оценки: подпопуляции, трансформации, наборы для оценки и adversarial-атаки».	См. https://github.com/robustness-gym/robustness-gym
СИСТЕМЫ	О МАШИННОМ ОБУЧЕНИИ Raji and Yang, (2019)	“ABOUT ML (Annotation and Benchmarking on Understanding and Transparency of Machine Learning Lifecycles) is a multi-year, multi-stakeholder initiative led by PAI. This initiative aims to bring together a diverse range of perspectives to develop, test, and implement machine learning system documentation practices at scale.”	См. библиотеку ресурсов ABOUT ML

ИНСТРУМЕНТЫ ДЛЯ ДОКУМЕНТИРОВАНИЯ, СООРУЖЁННЫЕ ВОКРУГ ДАННЫХ

Некоторые предложенные инструменты документирования сфокусированы на наборах данных, используемых в жизненном цикле ML-системы, включая обучение, разработку, валидацию, дообучение и оценку моделей машинного обучения в рамках непрерывных циклов. Как правило, эти инструменты охватывают множество аспектов жизненного цикла данных (возможно, для конкретного набора данных, группы наборов данных или в более широком смысле), включая то, как данные были собраны, получены, размечены и как их следует использовать.

• Расширяя концепцию паспортов данных из электроники, Gebru et al. (2018) предлагают паспорта для наборов данных, чтобы документировать детали, связанные с созданием набора данных, его потенциальным использованием и сопутствующими проблемами.
• Bender and Friedman (2018) предлагают data statements для обработки естественного языка. Bender, Friedman and McMillan-Major (2021) обновляют исходную рамку data statements и предоставляют ресурсы, включая руководство по написанию data statements и переводу между первой версией схемы и более новой[^2].
• Holland et al. (2018) предлагают «этикетки питания данных», аналогичные фактам о питании на продуктах и этикеткам о раскрытии информации о конфиденциальности, в качестве инструмента для анализа и принятия решений о наборах данных. Команда Data Nutrition Label выпустила обновлённый дизайн и интерфейс этикетки в 2020 году (Chmielinski et al., 2020)).
• McMillan-Major et al. (2021) описывают процесс разработки и итоговые шаблоны для data cards for NLP в виде карточек данных на Hugging Face Hub[^3] и карточек данных для наборов данных, входящих в состав бенчмарка NLP для Generation and its Evaluation Metrics (GEM) environment[^4].
• Hutchinson et al. (2021) описывают необходимость комплексной документации наборов данных и, опираясь на практики разработки программного обеспечения, предоставляют шаблоны для документирования нескольких аспектов жизненного цикла разработки набора данных (в целях таблиц 1 и 2 мы называем их фреймворк Dataset Development Lifecycle Documentation Framework).
• Pushkarna et al. (2021) предлагают data cards в рамках data card playbook — инструмента документирования, ориентированного на человека и сфокусированного на наборах данных, используемых в промышленности и исследованиях.

ИНСТРУМЕНТЫ ДЛЯ ДОКУМЕНТИРОВАНИЯ, СООРУЖЁННЫЕ ВОКРУГ МОДЕЛЕЙ И МЕТОДОВ

Другой набор инструментов документации можно рассматривать как ориентированный на модели машинного обучения и методы машинного обучения. Сюда входят:

• Mitchell et al. (2018) предлагают model cards для отчётности о моделях, которые сопровождают обученные ML-модели и документируют вопросы, связанные с оценкой, использованием и другими аспектами

• Shen et al. (2021) предлагают value cards для обучения студентов и практиков ценностям, связанным с моделями ML

• Seifert et al. (2019) предлагают потребительские ярлыки для ML-моделей, чтобы помочь неспециалистам, использующим модель или подверженным её влиянию, понять ключевые вопросы, связанные с моделью.

• Adkins et al. (2022) анализируют аспекты инструментов описательной документации, которые, по их мнению, включают model cards и data sheets, и аргументируют необходимость расширения набора предписывающих инструментов для ML-инженеров. Они предлагают method cards, сфокусированные на ML-методах, и проектируют их в первую очередь с учетом технических заинтересованных сторон, таких как разработчики и рецензенты моделей.

  • Они представляют себе связь между карточками моделей и карточками методов, в частности, следующим образом: «Разделы и подсказки, которые мы предлагаем… [в шаблоне карточки метода], сфокусированы на методах машинного обучения, достаточных для создания полноценной модели машинного обучения с определёнными входом, выходом и задачей. Примерами таких методов являются методы обнаружения объектов, такие как Single-shot Detectors, и методы моделирования языка, такие как Generative Pre-trained Transformers (GPT). Возможно создать карточки моделей для моделей, созданных с использованием этих методов.»

  • Они также отмечают: «Если Model Cards и FactSheets в основном посвящены документированию существующих моделей, то Method Cards акцентируют внимание на базовых методических и алгоритмических решениях, которые необходимо учитывать при создании и обучении этих моделей. Если провести приблизительную аналогию, то Model Cards и FactSheets предоставляют информацию о питательной ценности готовых блюд, а Method Cards — их рецепты».

ИНСТРУМЕНТЫ ДЛЯ ДОКУМЕНТИРОВАНИЯ, СФОКУСИРОВАННЫЕ НА СИСТЕМЕ

Вместо того чтобы фокусироваться на конкретных моделях, наборах данных или методах, инструменты документации, ориентированные на систему, рассматривают, как модели взаимодействуют друг с другом, с наборами данных, методами и другими компонентами машинного обучения, формируя системы машинного обучения.

• Procope et al. (2022) предлагают использовать системные карточки для документирования и объяснения ИИ-систем, которые могут включать несколько моделей машинного обучения, инструментов ИИ и не-ИИ технологий, совместно выполняющих задачи.
• Arnold et al. (2019) расширяют идею деклараций соответствия для потребительских продуктов на ИИ-сервисы, предлагая FactSheets для документирования аспектов «ИИ-сервисов», которые обычно доступны через API и могут состоять из нескольких различных ML-моделей. Hind et al. (2020) делятся размышлениями о создании factsheets.
• Gilbert et al. (2022) предлагают Reward Reports for Reinforcement Learning для систем, признавая динамическую природу ML-систем и необходимость включать в документацию соображения по поводу производительности после развёртывания, особенно для систем обучения с подкреплением.
• Goel et al. (2021) разработали Robustness Gym — набор инструментов для оценки, позволяющий тестировать различные аспекты глубоких нейронных сетей в реальных системах и сравнивать результаты по разным парадигмам оценки.
• Through the ABOUT ML project (Raji and Yang, 2019), the Partnership on AI is coordinating efforts across groups of stakeholders in the machine learning community to develop comprehensive, scalable documentation tools for ML systems.

РАЗВИТИЕ МОДЕЛЬНЫХ КАРТОЧЕК

С момента предложения по карточкам моделей, выдвинутого Митчеллом и соавторами в 2018 году, карточки моделей были приняты и адаптированы различными организациями, включая крупные технологические компании и стартапы, разрабатывающие и размещающие модели машинного обучения[^5], исследователей, описывающих новые методы[^6], и государственных заинтересованных лиц, оценивающих модели для различных проектов[^7]. Карточки моделей также входят в состав образовательных наборов инструментов по этике ИИ, а многочисленные организации и разработчики создали реализации для автоматизации или полуавтоматизации создания карточек моделей. Приложение A содержит набор примеров карточек моделей для различных типов моделей машинного обучения, созданных разными организациями (включая карточки моделей для больших языковых моделей), инструменты генерации карточек моделей и образовательные инструменты по карточкам моделей.

КАРТОЧКИ МОДЕЛЕЙ В HUGGING FACE HUB

С 2018 года также появились новые платформы и форматы для размещения и обмена карточками моделей. В частности, для данного проекта особенно актуально то, что Hugging Face размещает карточки моделей на Hugging Face Hub в виде файлов README в репозиториях, связанных с ML-моделями. В результате карточки моделей стали основным форматом документации для пользователей моделей на Hugging Face Hub. В рамках нашего анализа карточек моделей мы разработали и предложили карточки для нескольких десятков ML-моделей на Hugging Face Hub, используя функции Pull Request (PR) и Discussion на Hub для сбора обратной связи по карточкам моделей, проверки информации, содержащейся в карточках, и публикации карточек моделей на Hugging Face Hub. На момент написания этого руководства все модели Hugging Face на Hugging Face Hub имеют соответствующую карточку модели на Hub[^8].

Большое количество моделей, загруженных на Hugging Face Hub (101 041 модель на момент написания), позволило нам исследовать содержимое карточек моделей на хабе: Мы начали с анализа карточек языковых моделей, чтобы выявить закономерности (например, повторяющиеся разделы и подразделы), с целью ответить на начальные вопросы, такие как:

1) Сколько из этих моделей имеют карточки моделей?

2) Какой процент загрузок был связан с карточкой модели?

По результатам анализа всех моделей на хабе мы заметили, что большинство загрузок приходится на топ-200 моделей.

Сосредоточившись на крупных языковых моделях, отсортированных по числу загрузок и ограничившись только моделями, у которых изначально были карточки моделей, мы зафиксировали наиболее часто встречающиеся разделы в их карточках.

Хотя заголовки в карточках моделей могут различаться, мы сгруппировали компоненты и тематику каждого раздела в каждой карточке модели, а затем сопоставили их с наиболее часто встречающимися заголовками разделов (в основном на основе топ-200 загруженных моделей и с опорой на карточку модели Bloom).

Ознакомьтесь с User Studies

См. Приложение

[^1]: Для каждого инструмента описания взяты из связанной статьи, указанной во второй колонке.

[^2]: См. https://techpolicylab.uw.edu/data-statements/ .

[^3]: См. https://techpolicylab.uw.edu/data-statements/ .

[^4]: См. https://techpolicylab.uw.edu/data-statements/ .

[^5]: См., например, Hugging Face Hub, Model Cards от Google Cloud https://modelcards.withgoogle.com/about .

[^6]: См. Приложение A.

[^7]: См. совместный проект GSA / US Census Bureau по созданию Model Card Generator.

[^8]: Под «моделями Hugging Face» мы понимаем модели, размещённые на Hub самим Hugging Face, а не другой организацией. Формально это модели, в идентификаторе которых отсутствует символ «/».

---

Цитирование: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub