Изследователите откриват, че проверяващите са по-заинтересовани да разберат как всеки фактор като възрастта на детето влияе върху прогнозата, вместо да се стремят да разберат как работи самият модел. Резултатите също така показват, че дори обикновен модел за машинно обучение може да предизвика объркване, ако неговите характеристики не са описани с ясен език.

Тези открития могат да бъдат приложени и в други високорискови области, в които хората използват модели за машинно обучение за вземане на решения, без да имат опит в работата с данни, казва старши анализаторът Калян Веерамачанени, главен изследовател в Laboratory for Information and Decision Systems (LIDS) и водещ автор на изследването.

"Изследователите, които изучават обяснителния изкуствен интелект, често се опитват да задълбаят по-дълбоко в самия модел, за да обяснят на какво се базират неговите решения. Големият извод от нашето изследване обаче е, че тези експерти не искат непременно да научат какво всъщност прави машинното обучение. Те се интересуват повече от разбирането защо моделът прави дадена прогноза или какви фактори използва, за да направи тази прогноза. Те търсят информация, която да им помогне да съгласуват своите разбирания или несъгласия с модела, или да потвърдят интуицията си", казва той.

Екипът на проучването включва включва още Александра Зитек, докторант по електротехника и компютърни науки, която е водещ автор; Донгю Лиу, постдокторант, и Рема Вайтианатан, професор по икономика и директор на Центъра за анализ на социални данни в Технологичния университет в Окланд и професор по анализ на социални данни в Университета на Куинсланд. Изследването ще бъде представено по-късно този месец по време на събитието IEEE Visualization Conference.

Изследвания в реалния свят

Изследователите започват проучването преди повече от две години, като идентифицират седем фактора, които правят един модел за машинно обучение по-малко използваем, включително липсата на доверие откъде идват неговите прогнози и разногласията между мненията на потребителите и резултатите на модела.

Имайки предвид тези фактори, през зимата на 2019 г. Зитек и Лиу отиват в Колорадо, за да следят лично работата на проверяващите сигналите в отдела за защита на децата. Този отдел внедрява система за машинно обучение, разработена от Рема Вайтианатан, която генерира оценка на риска за всеки сигнал, предвиждайки вероятността детето да бъде изведено от дома си. Този анализ на риска се основава на повече от 100 демографски и исторически фактора като възрастта на родителите и минали сблъсъци със съдебната система.

Те наблюдават как екипите от проверяващи обработват всеки случай за около 10 минути и прекарват по-голямата част от това време в обсъждане на рисковите фактори, свързани с него. Това вдъхновява изследователите да разработят интерфейс с подробности за всеки конкретен сигнал, който показва как всеки фактор е повлиял на общия резултат на оценка на риска, използвайки цветни хоризонтални лентови графики.

Въз основа на наблюдения и подробни интервюта изследователите изграждат четири допълнителни интерфейса, които предоставят обяснения на модела, включително един, който сравнява текущите случаи с минали такива със сходни рискови резултати. След това провеждат серия от потребителски проучвания.

Проучванията разкриват, че повече от 90 процента от проверяващите намират интерфейса с подробности за всеки един случай за полезен и като цяло това увеличава доверието им в прогнозите на модела. От друга страна, проверяващите не харесват интерфейса за сравнение на случаите - въпреки че първоначално изследователите смятат, че именно този интерфейс ще повиши доверието в модела, проверяващите се оказват загрижени, че той може да доведе до взимане на решения въз основа на минали случаи, а не на настоящия факти.

Очаквайте продължение!