Фото: Pexels | Pixabay
В «Руководстве по искусственному интеллекту для гражданина» Джон Зерилли возглавляет ряд выдающихся исследователей и авторов в области искусственного интеллекта и машинного обучения, чтобы представить читателям доступный целостный анализ как истории, так и современного состояния техники, потенциальных преимуществ и проблемы, с которыми сталкивается постоянно совершенствующаяся технология искусственного интеллекта, и то, как эта быстро развивающаяся область может повлиять на общество на десятилетия вперед.
Человеческая предвзятость представляет собой смесь предубеждений, закрепленных за вами, и предрассудков, некоторые из которых являются разумными (например, «вы должны мыть руки перед едой»), а другие - явно ложными (например, «атеисты не имеют морали»). Искусственный интеллект также страдает как от встроенных, так и от усвоенных предубеждений, но механизмы, вызывающие встроенные предубеждения ИИ, отличаются от эволюционных, вызывающих психологическую эвристику и предубеждения человеческих рассуждений.
Одна группа механизмов проистекает из решений о том, как практические проблемы должны быть решены в ИИ. Эти решения часто основаны на иногда предвзятых ожиданиях программистов относительно того, как устроен мир. Представьте, что вам поручили разработать систему машинного обучения для арендодателей, которые хотят найти хороших арендаторов. Это вполне разумный вопрос, но где вам искать данные, которые на него ответят? Есть много переменных, которые вы можете использовать при обучении своей системы - возраст, доход, пол, текущий почтовый индекс, посещение средней школы, платежеспособность, характер, потребление алкоголя? Если оставить в стороне переменные, которые часто неверно сообщаются (например, потребление алкоголя) или которые законодательно запрещены в качестве дискриминационных оснований для рассуждений (например, пол или возраст), ваш выбор, вероятно, будет, по крайней мере, в некоторой степени зависеть от ваших собственных убеждений относительно того, какие факторы влияют на поведение арендаторов. Такие убеждения вызовут предвзятость в результатах алгоритма, особенно если разработчики опускают переменные, которые на самом деле предсказывают, что они являются хорошими арендаторами, и таким образом причиняют вред людям, которые в противном случае могли бы стать хорошими арендаторами, но не будут идентифицированы как таковые.
Та же проблема возникнет снова, когда нужно будет принять решение о способе сбора и маркировки данных. Эти решения часто не видны людям, использующим алгоритмы. Некоторая информация будет считаться коммерчески конфиденциальной. Некоторые просто забудутся. Неспособность задокументировать потенциальные источники предвзятости может быть особенно проблематичной, когда ИИ, предназначенный для одной цели, используется для обслуживания другой - например, когда кредитный рейтинг используется для оценки пригодности кого-либо в качестве сотрудника. Опасность, связанная с адаптацией ИИ из одного контекста в другой, недавно была названа «ловушкой переносимости». Это ловушка, поскольку она может снизить точность и справедливость измененных алгоритмов.
Рассмотрим также такую систему, как TurnItIn. Это одна из многих систем борьбы с плагиатом, используемых университетами. Его создатели говорят, что он просматривает 9,5 миллиардов веб-страниц (включая общие источники исследований, такие как онлайн-курсы и справочные материалы, такие как Википедия). Он также поддерживает базу данных эссе, ранее отправленных через TurnItIn, которая, согласно маркетинговым материалам, растет более чем на пятьдесят тысяч эссе в день. Затем эссе, отправленные студентом, сравниваются с этой информацией для выявления плагиата. Конечно, всегда будет какое-то сходство, если сравнивать работу студента с эссе большого количества других студентов, пишущих на общие академические темы. Чтобы обойти эту проблему, его создатели решили сравнить относительно длинные строки символов. Лукас Интрона, профессор организации, технологий и этики в Ланкастерском университете, утверждает, что TurnItIn предвзят.
TurnItIn предназначен для обнаружения копирования, но все эссе содержат что-то вроде копирования. Перефразирование - это процесс выражения идей других людей своими словами, демонстрация маркеру, что вы понимаете эти идеи. Оказывается, есть разница в перефразировании носителей языка и тех, для кого он не является родным. Люди, изучающие новый язык, пишут, используя знакомые, а иногда и длинные фрагменты текста, чтобы убедиться, что они правильно усваивают словарный запас и структуру выражений. Это означает, что перефразирование людей, не являющихся носителями языка, часто будет содержать более длинные фрагменты оригинала. Обе группы перефразируют, а не обманывают, но люди, не являющиеся носителями языка, постоянно получают более высокие оценки плагиата. Таким образом, система, разработанная частично для минимизации предвзятости со стороны профессоров, неосознанно находящихся под влиянием пола и этнической принадлежности, кажется, непреднамеренно порождает новую форму предвзятости из-за того, как она обрабатывает данные.
Также существует долгая история встроенных предубеждений, намеренно направленных на получение коммерческой выгоды. Одним из величайших успехов в истории искусственного интеллекта является разработка рекомендательных систем, которые могут быстро и эффективно найти потребителям самый дешевый отель, самый прямой рейс или книги и музыку, которые лучше всего соответствуют их вкусам. Дизайн этих алгоритмов стал чрезвычайно важным для продавцов - и не только для интернет-магазинов. Если бы дизайн такой системы означал, что ваш ресторан никогда не попадал бы в поисковую выдачу, ваш бизнес определенно пострадал бы. Проблема усугубляется по мере того, как рекомендательные системы укрепляются и становятся фактически обязательными в определенных отраслях. Это может создать опасный конфликт интересов, если та же компания, которая владеет системой рекомендаций, также владеет некоторыми продуктами или услугами, которые она рекомендует.
Эта проблема была впервые задокументирована в 1960-х годах после запуска системы бронирования и планирования авиакомпаний SABRE, совместно разработанной IBM и American Airlines. Это был огромный шаг вперед по сравнению с операторами call-центра, вооруженными схемами рассадки и булавками, но вскоре стало очевидно, что пользователям нужна система, которая могла бы сравнивать услуги, предлагаемые рядом авиакомпаний. Потомок получившейся системы рекомендаций все еще используется, например, такими сервисами, как Expedia и Travelocity. Американские авиалинии не забыли, что их новая система, по сути, рекламировала товары их конкурентов. Поэтому они приступили к изучению способов представления результатов поиска, чтобы пользователи чаще выбирали American Airlines. Таким образом, хотя система будет основываться на информации от многих авиакомпаний, она будет систематически изменять покупательские привычки пользователей в сторону American Airlines. Персонал назвал эту стратегию экранной наукой.
Экранная наука American Airlines не осталась незамеченной. Турагенты вскоре заметили, что основная рекомендация SABRE зачастую хуже, чем те, что приведены ниже. В конце концов президент American Airlines Роберт Л. Крэндалл был вызван для дачи показаний перед Конгрессом. Удивительно, но Крэндалл не раскаялся, заявив, что «преимущественное отображение наших рейсов и соответствующее увеличение нашей доли рынка - это, в первую очередь, конкурентный смысл создания системы [SABRE]». Оправдание Крэндалла окрестили «жалобой Крэндалла», а именно: «Зачем вам создавать и использовать дорогостоящий алгоритм, если вы не можете склонить его в свою пользу?»
Оглядываясь назад, можно сказать, что жалоба Крэндалла кажется довольно странной. Есть много способов монетизировать рекомендательные системы. Им не нужно давать необъективные результаты, чтобы быть финансово жизнеспособными. Тем не менее, экранная наука никуда не делась. Продолжают звучать обвинения в том, что рекомендательные движки смещены в сторону продуктов их производителей. Бен Эдельман сопоставил все исследования, в которых выяснилось, что Google продвигает свои собственные продукты, занимая видное место в таких результатах. К ним относятся поиск по блогам Google, поиск книг Google, поиск авиабилетов Google, Google Health, Google Hotel Finder, Google Images, Google Maps, Google News, Google Places, Google+, Google Scholar, Google Shopping и Google Video.
Преднамеренная предвзятость влияет не только на то, что вам предлагают рекомендательные системы. Это также может повлиять на размер платы за рекомендованные вам услуги. Благодаря персонализации поиска компаниям стало проще использовать динамическое ценообразование. В 2012 году исследование Wall Street Journal показало, что система рекомендаций, используемая туристической компанией Orbiz, по-видимому, рекомендовала пользователям Mac более дорогое жилье, чем пользователям Windows.
Источник: Engadget
Перевод: Айнур Искакова
