Создан инструмент, который помогает устранить предвзятость компьютерного зрения

Исследователи из Принстонского института разработали инструмент, который выявляет потенциальные предубеждения в наборах изображений, применяемых для обучения систем искусственного ума. Работа является частью наиболее масштабного проекта по исправлению и предотвращению предубеждений, проникших в системы ИИ, которые влияют на все — от кредитных услуг до программ вынесения приговоров в зале суда.

Хотя источники предвзятости в системах ИИ многообразны, одной из ее главных обстоятельств являются стереотипные изображения, находящиеся в огромных наборах данных, собранных из онлайн-источников, которые инженеры употребляют для развития компьютерного зрения. Это ветвь ИИ, которая дозволяет компам распознавать людей, объекты и деяния. Так как фундамент компьютерного зрения строится на этих наборах данных, изображения, отражающие социальные стереотипы и предубеждения, могут ненамеренно влиять на модели компьютерного зрения.

Чтоб посодействовать убрать эту делему в ее первоисточнике, исследователи из Princeton Visual AI Lab разработали инструмент с открытым начальным кодом, который автоматом обнаруживает потенциальные преломления в наборах зрительных данных. инструмент дозволяет создателям наборов данных и юзерам исправлять препядствия недопредставленности либо стереотипного изображения до того, как коллекции изображений будут употребляться для обучения моделей компьютерного зрения. В соответственной работе члены Visual AI Lab выпустили сопоставление имеющихся способов предотвращения предвзятости в самих моделях компьютерного зрения и предложили новейший, наиболее действенный подход к понижению предвзятости .

1-ый инструмент, именуемый REVISE, употребляет статистические способы для проверки набора данных на предмет возможных предубеждений либо заморочек недопредставленности по трем измерениям: объектному, гендерному и географическому. 

REVISE оценивает содержимое набора данных, используя имеющиеся инструкции к изображениям и такие измерения, как количество объектов, совместное присутствие объектов и людей, также страны происхождения изображений. Посреди этих измерений инструмент выявляет закономерности, которые различаются от медианного распределения.

В одном наборе данных REVISE выявил потенциальную гендерную предвзятость в изображениях, на которых изображены люди (красноватые прямоугольники) и орган музыкального инструмента (голубые прямоугольники). анализ распределения предполагаемых трехмерных расстояний меж человеком и органом показал, что мужчины, как правило, изображались как практически играющие на инструменте, тогда как дамы нередко просто находились в том же пространстве, что и инструмент. Предоставлено: Princeton Visual AI Lab.

К примеру, в одном из тестированных наборов данных REVISE показал, что изображения, включающие людей и цветочки, различались у парней и дам: мужчины почаще появлялись с цветами на церемониях либо встречах, а дамы, как правило, появлялись в постановочных декорациях либо картинах. 

Как инструмент выявляет такового рода несоответствия, «возникает вопросец, является ли это совсем безопасным фактом либо происходит нечто наиболее принципиальное, и это весьма тяжело заавтоматизировать», — разъясняет Ольга Русаковская, доцент кафедры информатики и основной исследователь Visual AI Lab. 

«Практика сбора наборов данных в компьютерных науках до недавнешнего времени не изучалась так кропотливо», — заключает соавтор исследования Анджелина Ван, аспирантка в области компьютерных наук. Она разъясняет, что изображения в главном «берутся из Веба, и люди не постоянно соображают, что их изображения употребляются [в наборах данных]. Мы должны собирать изображения от наиболее различных групп людей и делаем это почтительно».

Читать также:

Сделать ядерный реактор на Земле реально. Какие будут последствия?

Ледник «Судного денька» оказался опаснее, чем задумывались ученые. Рассказываем основное

На 3 денек Источник