Какви рискове носи генеративният AI и как се управляват

34% от организациите вече използват или са започнали да внедряват инструменти за сигурност, свързани с прилагането на изкуствен интелект, за да намалят съпътстващите рискове при генеративния AI, показва ново проучване на Gartner. Същевременно над половината (56%) от запитаните посочват, че също изследват възможностите на подобни решения.

26% от анкетираните пък отбелязват, че в момента прилагат или използват техники за подобряване на неприкосновеността, ModelOps (25%) или мониторинг на модели (24%), става ясно още от данните.

"Лидерите в сферата на ИТ, сигурността и управлението на риска трябва в допълнение към прилаганите инструменти за сигурност да обмислят да подкрепят цялостна фирмена стратегия за AI TRiSM (управление на доверието, риска и сигурността)", посочва Авива Литан, вицепрезидент анализатор в Gartner. По думите й AI TRiSM управлява потока на данните и процесите между потребителите и компаниите, които хостват основните модели за генеративния AI, и трябва да бъдат продължително усилие, а не еднократно с цел да се гарантира защитата на организацията.

Водещите рискове

Рисковете, свързани с генеративния изкуствен интелект, са значителни и ще продължат да се развиват, отбелязват от Gartner. Респондентите определят, че нежеланите резултати и несигурният код са сред водещите рискове, когато се използва генеративен изкуствен интелект. 57% от запитаните са притеснени също така за изтичане на тайни в AI генерирания код, а 58% имат опасения от неточни и предубедени резултати.

Организациите, които не управляват AI риска, ще установят, че техните модели не се справят, както се очаква, и в най-лошия случай могат да понесат загуби, коментира още Литан. "Това ще доведе до проблеми в сигурността, финансови и репутационни загуби, както и вреди за индивидите от неправилни, манипулирани, неетични или предубедени резултати. Лошото представяне на изкуствения интелект може също така да предизвика взимането на лоши бизнес решения от страна на организациите."

ИТ са отговорни за сигурността на генеративния AI

Макар че 93% от лидерите в сферата на ИТ и сигурността имат някакво участие в усилията на своите компании за управление на сигурността и риска при генеративния изкуствен интелект, само 24% отбелязват, че те носят цялата тази отговорност.

Сред анкетираните, които не поемат ангажимента за сигурността при генеративния AI и/или управлението на риска, 44% посочват, че все пак окончателната отговорност се носи от ИТ екипите. При 20% от запитаните отделът за управление, риск и съответствие на тяхната организация носи отговорността по отношение на прилагането на технологията.