История переоценки возможностей
Каждая технологическая революция проходит через предсказуемый цикл: восторженные обещания, массовое внедрение, столкновение с реальностью, переосмысление. Паровые машины должны были освободить человека от физического труда – породили фабричную систему с её жёсткой дисциплиной. Электричество обещало демократизацию комфорта – создало новые формы неравенства между электрифицированными городами и отстающей периферией. Интернет должен был стать пространством свободного обмена знаниями – превратился в поле битвы за внимание и данные.
Машинное обучение проходит через тот же цикл прямо на наших глазах. Но есть особенность: скорость прохождения этапов беспрецедентна. От первых громких успехов AlphaGo до массового разочарования в чат-ботах прошло меньше десятилетия. От обещаний полностью автономных автомобилей до признания, что даже частичная автоматизация требует постоянного человеческого контроля – ещё меньше.
Момент прозрения наступает, когда организации осознают фундаментальное противоречие. С одной стороны, технология демонстрирует впечатляющие результаты: системы распознавания изображений превосходят человека в специализированных задачах, языковые модели генерируют связные тексты, рекомендательные алгоритмы удерживают внимание миллиардов пользователей. С другой – те же системы проваливаются на элементарных с человеческой точки зрения задачах, воспроизводят и усиливают социальные предрассудки, принимают решения, логику которых невозможно объяснить.
Amazon столкнулась с этим в 2014 году. Компания, построившая империю на алгоритмах, решила автоматизировать отбор персонала. Лучшие инженеры создали систему, обученную на десятилетней истории найма. Результат оказался парадоксальным: модель систематически занижала оценки резюме, содержащих слово «женский» – будь то «капитан женской шахматной команды» или «женский колледж». Система не была запрограммирована на дискриминацию. Она просто выявила закономерность в исторических данных: в технологических ролях Amazon преобладали мужчины. Проект закрыли.
Американская система уголовного правосудия пережила похожее откровение с алгоритмом COMPAS, предсказывающим вероятность рецидива. Исследование ProPublica показало: система в два раза чаще ошибочно классифицировала чёрных подсудимых как высокорисковых по сравнению с белыми. При этом создатели алгоритма не использовали расу как переменную. Но почтовый индекс, уровень образования, история арестов родственников – все эти «нейтральные» факторы коррелировали с расовой принадлежностью в американском контексте. Алгоритм выучил расизм, не зная о существовании рас.
