Влияние умственного утомления, монотонности задач и перекоса данных на эффективность аннотаторов

Введение

Существует две темы, о которых редко говорят, когда речь заходит об аннотировании данных.
Во‑первых, аннотаторы — это не просто «инструменты», которые нужно обучать и чью работу следует неустанно контролировать; это обычные люди, такие же, как мы с вами: они могут уставать или отвлекаться.
Во‑вторых, на их работу влияет сам набор данных, который мы им предлагаем.

Я испытываю сострадание и глубокое уважение к аннотаторам, с которыми работаю каждый день, поэтому давно хотел затронуть эту тему, но не находил времени и ресурсов для полноценного исследования. С помощью ИИ и благодаря учёным, уже проделавшим основную работу, я могу хотя бы поделиться кратким обзором.

Я перечитал сгенерированный текст и убедился, что он выражает именно то, что хотел сказать.

Если вам лень читать, можно послушать:

Введение: ключевая роль аннотирования данных и влияние человеческого фактора

Аннотирование данных является краеугольным камнем при разработке и внедрении моделей искусственного интеллекта (ИИ) и машинного обучения (МО).1 Этот процесс, заключающийся в разметке сырых данных, делает их понятными для алгоритмов и критически важен для обучения моделей, способных точно распознавать шаблоны, делать предсказания и извлекать инсайты. Качество аннотаций напрямую определяет точность, надёжность и итоговую эффективность систем ИИ и МО.1 Плохая разметка, напротив, вводит предвзятость, снижает точность и ведёт к пустой трате ресурсов.1

Хотя внимание часто сосредоточено на алгоритмической стороне, человеческий фактор играет незаменимую роль.1 Когнитивное состояние аннотатора, характер выполняемых задач и свойства самих данных существенно влияют на качество и скорость разметки. Поэтому учёт этих факторов критически важен для оптимизации процессов и получения высококачественных обучающих выборок. Масштабирование ИИ‑проектов лишь усиливает необходимость поддерживать целостность и надёжность аннотаций.1

Определение проблем

Умственное утомление при когнитивных задачах: сущность и особенности

Умственное утомление — это психобиологическое состояние, возникающее при длительной умственной нагрузке.2 Оно характеризуется субъективным чувством усталости и нехваткой энергии.3 Даже 10‑минутные сложные задания могут вызвать утомление,4 влияя на последующие когнитивные и физические показатели.2 Симптомы включают сложности с концентрацией,5 забывчивость,5 рост числа ошибок5 и замедление работы.5 Возможны раздражительность, апатия, головные боли и проблемы с желудком.67

Важно отличать утомление от стресса: стресс вызывается угрозой и сопровождается гормональной реакцией «бей или беги», тогда как утомление — результат истощения умственных ресурсов.2 Нейрофизиологически оно связано с изменениями активности в передней поясной коре.8

Таблица 1. Симптомы умственного утомления

Симптом Описание Источник
Трудности с концентрацией Снижение способности удерживать внимание. 5
Забывчивость Повышенная склонность к ошибкам памяти. 5
Увеличение числа ошибок Более частые промахи при выполнении заданий. 5
Сложность удерживать фокус Трудно долго следить за задачей, принимать решения, вести беседу. 5
Удлинение времени выполнения На привычные задания требуется больше времени. 5
Снижение способности к решению задач Сложнее мыслить критически и решать проблемы. 5
Снижение креативности Меньше новых идей и оригинальных решений. 5
Лёгкая отвлекаемость Повышенная чувствительность к внешним раздражителям. 7
Проблемы с рабочей памятью Трудности удерживать и манипулировать информацией в уме. 7
Раздражительность Лёгкая возбудимость и раздражение. 7
Трудно завершать задачи Ранее лёгкие задания даются тяжело. 7
Ухудшение психического здоровья Общее снижение благополучия. 7
Сложность управлять эмоциями Трудно адекватно регулировать чувства. 7
Чувство опустошённости Ощущение полного истощения ресурсов. 7
Апатия Отсутствие интереса и энтузиазма. 7
Головные боли Болевые ощущения в области головы. 6
Желудочные проблемы Дискомфорт или боли в животе. 7
Снижение бодрствования Меньшая бдительность и внимательность. 9
Падение мотивации Меньшее желание заниматься задачами. 9
Вялость Состояние сонливости и недостатка энергии. 9
Трудность формулировать мысли Сложно связно выражать идеи. 9

Монотонные задачи: влияние на вовлечённость и результативность

Долгая работа с повторяющимися заданиями приводит к снижению внимания10, росту ошибок10 и падению мотивации.10 Монотонность вызывает скуку11, неудовлетворённость работой11 и даже проблемы со здоровьем.11 Парадоксально, но в начале производительность может расти из‑за снижения затрат на переключение контекста12; затем она стабилизируется или падает, а психологическая нагрузка возрастает.12 В задачах бдительности ухудшение точности и времени реакции может наступать уже через несколько минут.13

Перекос распределения данных: последствия для точности и согласованности

В реальных проектах данные часто несбалансированы: один класс значительно преобладает.14 Это усложняет обучение моделей и снижает качество разметки редких классов.15 Аннотаторам сложнее выработать уверенность в редких категориях, что ведёт к ошибкам и низкому межаннотаторному соглашению (IAA).16 При этом общая точность модели может вводить в заблуждение, так как отражает успех лишь на большинстве.17

Влияние на работу аннотаторов

Умственное утомление и точность классификации

Утомление снижает способность фильтровать лишнюю информацию, обрабатывать данные и удерживать внимание.2 С ростом усталости увеличивается число ошибок18 и время реакции.19 Даже при сознательном усилии удерживать уровень работы скрытые когнитивные процессы ухудшаются, что видно по изменениям ERP‑компонент N1 и P3.20

Повторяемость задач, ошибки и внимание

Монотонные задания быстро приводят к снижению бдительности и росту ошибок.10 Недостаток стимуляции вызывает «когнитивную недогрузку», когда система внимания переключается в пассивный режим.13 Введение большей вариативности или повышение сложности помогает смягчить эффект.21

Согласованность и предвзятость при перекосе данных

При сильном перекосе аннотаторы легко согласуются на большинстве, но расходятся на меньшинстве.16 Это ведёт к неустойчивой разметке и усилению смещений.15 Ошибки чаще встречаются в редких классах, а модели наследуют эти перекосы.22

Оценка влияния

  • Умственное утомление: опросники (KSS), метрики реакции/точности, физиология (ЭЭГ, трекинг глаз), задачи типа антисакад.2
  • Монотонность: рост ошибок, замедление реакции, субъективные отчёты о скуке, сравнение с более вариативными задачами.13
  • Перекос данных: анализ IAA по классам, распределение ошибок, метрики precision/recall/F1 для каждого класса, сравнение на сбалансированных поднаборах.23

Стратегии смягчения и оптимизации

Борьба с умственным утомлением

  • Регулярные перерывы.24
  • Ротация задач и разнообразие.25
  • Эргономичное рабочее место.26
  • Поддержка здоровых привычек (сон, питание, спорт).[^\70]
  • Корректировка формы подачи данных (размер, формат) при усталости.27

Снижение негативного эффекта монотонности

  • Ротация и микротаски.25
  • Геймификация и система поощрений.28
  • Лёгкое повышение когнитивной сложности.21
  • Чёткие гайдлайны, обратная связь и фильтры в инструментах.1525
  • Автоматизация рутинных частей (AI‑ассист).29

Работа с перекошенными данными

  • Сбалансированная выборка (over/undersampling).15
  • Расширенные инструкции и примеры для меньшинства.1
  • Генерация синтетических данных или аугментация.15
  • Стоимостно‑чувствительное обучение и стратифицированная выборка.14
  • Ансамблевые методы на этапе моделирования.14

Ясные инструкции и механизмы обратной связи

Подробные, иллюстрированные гайдлайны минимизируют разночтения.1 Регулярная обратная связь и обновление правил по итогам аудитов и анализа ошибок поддерживают качество.231

Автоматизация и AI‑инструменты

Предразметка простых случаев, выявление аномалий и активное обучение (active learning) повышают эффективность и снижают нагрузку на людей.1530

Рекомендации

  • Проектируйте рабочие процессы с перерывами, ротацией и микротасками.
  • Внедряйте систему контроля качества, метрики IAA и циклы обратной связи.
  • Поддерживайте мотивацию через обучение, признание достижений и справедливую оплату.

Заключение: путь к высококачественной разметке через человеко‑центричный дизайн

Качество аннотаций критично для успеха ИИ‑систем и во многом определяется человеческими факторами: усталостью, монотонностью и перекосом данных. Комплексные стратегии, ориентированные на благополучие аннотаторов и сбалансированность данных, помогают минимизировать ошибки и создавать надёжные обучающие выборки.

Использованная литература

  1. Avoiding Common Pitfalls in Data Annotation - Labelvisor, accessed April 11, 2025, https://www.labelvisor.com/avoiding-common-pitfalls-in-data-annotation/ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. Understanding mental fatigue and its detection: a comparative analysis of assessments and tools - PubMed Central, accessed April 11, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC10460155/ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  3. pmc.ncbi.nlm.nih.gov, accessed April 11, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC9786280/#:~:text=Mental%20fatigue%2C%20defined%20as%20a,et%20al.%2C%202009). ↩︎

  4. Cognitive tasks elicit mental fatigue and impair subsequent physical …, accessed April 11, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC9786280/ ↩︎

  5. Cognitive fatigue: What it is, symptoms, and how to manage it - Medical News Today, accessed April 11, 2025, https://www.medicalnewstoday.com/articles/cognitive-fatigue ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  6. Effects of Mental Fatigue on Brain Activity and Cognitive Performance: A Magnetoencephalography Study - ResearchGate, accessed April 11, 2025, https://www.researchgate.net/publication/282892276_Effects_of_Mental_Fatigue_on_Brain_Activity_and_Cognitive_Performance_A_Magnetoencephalography_Study ↩︎ ↩︎

  7. What is Cognitive Fatigue?, accessed April 11, 2025, https://acognitiveconnection.com/what-is-cognitive-fatigue/ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  8. Mental fatigue impairs physical performance in humans | Journal of Applied Physiology, accessed April 11, 2025, https://journals.physiology.org/doi/full/10.1152/japplphysiol.91324.2008 ↩︎

  9. Mental Exhaustion: Definition, Causes, Symptoms, and Treatment - Healthline, accessed April 11, 2025, https://www.healthline.com/health/mental-exhaustion ↩︎ ↩︎ ↩︎ ↩︎

  10. 7 Human Error Statistics For 2025 - DocuClipper, accessed April 11, 2025, https://www.docuclipper.com/blog/human-error-statistics/ ↩︎ ↩︎ ↩︎ ↩︎

  11. Repetitive Work: Contrast and Conflict - LSU Faculty Websites, accessed April 11, 2025, https://faculty.lsu.edu/bedeian/files/repretitive-work-contrast-and-conflict.pdf ↩︎ ↩︎ ↩︎

  12. (PDF) Experimental evidence for the effects of task repetitiveness on mental strain and objective work performance - ResearchGate, accessed April 11, 2025, https://www.researchgate.net/publication/260412582_Experimental_evidence_for_the_effects_of_task_repetitiveness_on_mental_strain_and_objective_work_performance ↩︎ ↩︎

  13. archive.acrs.org.au, accessed April 11, 2025, https://archive.acrs.org.au/files/arsrpe/RS060025.pdf ↩︎ ↩︎ ↩︎

  14. Handling Imbalanced Data in Classification - Keylabs, accessed April 11, 2025, https://keylabs.ai/blog/handling-imbalanced-data-in-classification/ ↩︎ ↩︎ ↩︎

  15. Top Challenges in Data Annotation And How To Overcome Them - Labellerr, accessed April 11, 2025, https://www.labellerr.com/blog/how-to-overcome-challenges-in-data-annotation/ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  16. Inter-Annotator Agreement: a key Labeling metric - Innovatiana, accessed April 11, 2025, https://en.innovatiana.com/post/inter-annotator-agreement ↩︎ ↩︎

  17. Facing Imbalanced Data - Laszlo A. Jeni, accessed April 11, 2025, https://www.laszlojeni.com/pub/articles/Jeni13ACII.pdf ↩︎

  18. Mental Fatigue: What Happens When Your Brain Is Tired? · Frontiers …, accessed April 11, 2025, https://kids.frontiersin.org/articles/10.3389/frym.2023.1080802 ↩︎

  19. Examining the Landscape of Cognitive Fatigue Detection: A … - MDPI, accessed April 11, 2025, https://www.mdpi.com/2227-7080/12/3/38 ↩︎

  20. Overt and Covert Effects of Mental Fatigue on Attention Networks: Evidence from Event-Related Potentials during the Attention Network Test - MDPI, accessed April 11, 2025, https://www.mdpi.com/2076-3425/14/8/803 ↩︎

  21. Cognitive Engagement Combats Transport Workers’ Monotony, accessed April 11, 2025, https://ohsonline.com/articles/2012/08/30/cognitive-engagement-combats-transport-worker-monotony?m=1 ↩︎ ↩︎

  22. Correcting Annotator Bias in Training Data: Population-Aligned Instance Replication (PAIR), accessed April 11, 2025, https://arxiv.org/html/2501.06826v2 ↩︎

  23. Ensuring Quality in Data Annotation - Keymakr, accessed April 11, 2025, https://keymakr.com/blog/ensuring-quality-in-data-annotation/ ↩︎ ↩︎

  24. Mental fatigue in cybersecurity defense - RangeForce, accessed April 11, 2025, https://www.rangeforce.com/blog/mental-fatigue-in-cybersecurity-defense ↩︎

  25. 10 Tips to Supercharge Your Data Labeling Efficiency | HumanSignal, accessed April 11, 2025, https://humansignal.com/blog/10-tips-to-supercharge-your-data-labeling-efficiency/ ↩︎ ↩︎ ↩︎

  26. How Stressful/Tiring is Data Annotation Compared To a 9/5? - Reddit, accessed April 11, 2025, https://www.reddit.com/r/DataAnnotationTech/comments/1gkkrfp/how_stressfultiring_is_data_annotation_compared/ ↩︎

  27. Cognitive Fatigue and Attention - Effects, Strategies, Scientific Insights - Taju Coaching, accessed April 11, 2025, https://www.tajucoaching.com/blog/cognitive-fatigue-and-attention-strategies-for-maintaining-focus-and-alertness ↩︎

  28. Building Annotation Performance Dashboards | Keymakr, accessed April 11, 2025, https://keymakr.com/blog/building-annotation-performance-dashboards-for-continuous-improvement/ ↩︎

  29. The Full Guide to Automated Data Annotation - Encord, accessed April 11, 2025, https://encord.com/blog/automated-data-annotation-guide/ ↩︎

  30. Improving Data Quality With an Efficient Data Labeling Process - Dataiku blog, accessed April 11, 2025, https://blog.dataiku.com/improving-data-quality-with-an-efficient-data-labeling-process ↩︎