Как машинното обучение помага за взимане на критични решения? (Част 1)

Инструмент за визуален анализ подпомага мониторинга на случаите на насилие над деца в САЩ и определянето на нужните мерки

от Иван Гайдаров

29 октомври 2021 11:56

Центровете за контрол и превенция на заболяванията на САЩ изчисляват, че едно от седем деца в Съединените щати е претърпяло насилие или е било пренебрегвано през последната година. Агенциите за закрила на детето в цялата страна получават голям брой сигнали всяка година (около 4.4 милиона през 2019 г.) за предполагаеми злоупотреби с деца. Заради огромния брой на случаите някои агенции прилагат модели за машинно обучение, за да помогнат на специалистите по хуманно отношение към децата да преглеждат случаите и да определят кои от тях да препоръчат за по-нататъшно разследване.

Но тези модели не носят никаква полза, ако хората, на които са предназначени да помогнат, не разбират или не се доверяват на техните резултати.

Затова изследователите от MIT стартират проект за идентифициране и справяне с предизвикателствата при използване на машинното обучение при скрининг на детското благосъстояние. В сътрудничество с отдела за хуманно отношение към децата на Колорадо изследователите проучват как анализът на сигналите оценява различните случаи със и без помощта на машинното обучение. Въз основа на обратна връзка от проверяващите сигналите те разработват инструмент за визуален анализ, който използва графики, за да покаже как специфичните фактори в даден случай допринасят за прогнозиране на риска за детето и възможността то да бъде изведено от дома си в рамките на две години.

Изследователите откриват, че проверяващите са по-заинтересовани да разберат как всеки фактор като възрастта на детето влияе върху прогнозата, вместо да се стремят да разберат как работи самият модел. Резултатите също така показват, че дори обикновен модел за машинно обучение може да предизвика объркване, ако неговите характеристики не са описани с ясен език.

Тези открития могат да бъдат приложени и в други високорискови области, в които хората използват модели за машинно обучение за вземане на решения, без да имат опит в работата с данни, казва старши анализаторът Калян Веерамачанени, главен изследовател в Laboratory for Information and Decision Systems (LIDS) и водещ автор на изследването.

"Изследователите, които изучават обяснителния изкуствен интелект, често се опитват да задълбаят по-дълбоко в самия модел, за да обяснят на какво се базират неговите решения. Големият извод от нашето изследване обаче е, че тези експерти не искат непременно да научат какво всъщност прави машинното обучение. Те се интересуват повече от разбирането защо моделът прави дадена прогноза или какви фактори използва, за да направи тази прогноза. Те търсят информация, която да им помогне да съгласуват своите разбирания или несъгласия с модела, или да потвърдят интуицията си", казва той.

Екипът на проучването включва включва още Александра Зитек, докторант по електротехника и компютърни науки, която е водещ автор; Донгю Лиу, постдокторант, и Рема Вайтианатан, професор по икономика и директор на Центъра за анализ на социални данни в Технологичния университет в Окланд и професор по анализ на социални данни в Университета на Куинсланд. Изследването ще бъде представено по-късно този месец по време на събитието IEEE Visualization Conference.

Изследвания в реалния свят

Изследователите започват проучването преди повече от две години, като идентифицират седем фактора, които правят един модел за машинно обучение по-малко използваем, включително липсата на доверие откъде идват неговите прогнози и разногласията между мненията на потребителите и резултатите на модела.

Имайки предвид тези фактори, през зимата на 2019 г. Зитек и Лиу отиват в Колорадо, за да следят лично работата на проверяващите сигналите в отдела за защита на децата. Този отдел внедрява система за машинно обучение, разработена от Рема Вайтианатан, която генерира оценка на риска за всеки сигнал, предвиждайки вероятността детето да бъде изведено от дома си. Този анализ на риска се основава на повече от 100 демографски и исторически фактора като възрастта на родителите и минали сблъсъци със съдебната система.

Те наблюдават как екипите от проверяващи обработват всеки случай за около 10 минути и прекарват по-голямата част от това време в обсъждане на рисковите фактори, свързани с него. Това вдъхновява изследователите да разработят интерфейс с подробности за всеки конкретен сигнал, който показва как всеки фактор е повлиял на общия резултат на оценка на риска, използвайки цветни хоризонтални лентови графики.

Въз основа на наблюдения и подробни интервюта изследователите изграждат четири допълнителни интерфейса, които предоставят обяснения на модела, включително един, който сравнява текущите случаи с минали такива със сходни рискови резултати. След това провеждат серия от потребителски проучвания.

Проучванията разкриват, че повече от 90 процента от проверяващите намират интерфейса с подробности за всеки един случай за полезен и като цяло това увеличава доверието им в прогнозите на модела. От друга страна, проверяващите не харесват интерфейса за сравнение на случаите - въпреки че първоначално изследователите смятат, че именно този интерфейс ще повиши доверието в модела, проверяващите се оказват загрижени, че той може да доведе до взимане на решения въз основа на минали случаи, а не на настоящия факти.

Очаквайте продължение!