Достъпът на AI ботовете до чувствителни данни ги прави уязвими и проблемни за сигурността на организациите

Изкуственият интелект Copilot AI на Microsoft може да се използва за разкриване на на чувствителни данни на организации и за мощни фишинг атаки, предупреди специалистът по сигурност Майкъл Баргори, съосновател и технически директор на Zenity, в демонстрация на конференцията Black Hat в Лас Вегас.

Copilot AI, особено Copilot Studio, позволява на бизнес организациите да адаптират чатботовете към своите нужди, като им предоставят достъп до фирмените данни. Но демонстрацията на Баргори показа, че много такива чатботове се достъпни онлайн по подразбиране, което ги прави лесни мишени за хакери. Според него, в интернет са налични десетки хиляди такива ботове.

Баргори демонстрира как нападател може да принуди Copilot да разкрие чувствителни данни, включително имейли и банкови транзакции, без дори да има достъп до акаунта на организацията. Във видео той показа как чатботът променя получателя на банков превод чрез изпращане на злонамерен имейл, който целевият служител дори не трябва да отваря.

Ако хакер има достъп до компрометиран акаунт на служител, той може да причини още повече щети. Барготи демонстрира достъп до имейли на колеги, последните им разговори и заставяне на чатбота да изпрати отговори на потребителите от имейл списъка.

След това той инструктира бота да състави имейл в стила на хакнатия служител, който да изпрати на колега, и го моли да извади точната тема на последния имейл. Само за няколко минути ботът създаде убедителен имейл, който можеше да достави злонамерен прикачен файл на всеки в мрежата.

Особено подъл начин, по който нападателят може да заобиколи защитните бариери на Copilot, е чрез индиректно инжектиране на подсказки. В този случай хакерът може да принуди чатбота да прави забранени неща, като го “отрови” със злонамерени данни от външен източник, например като го помоли да посети уебсайт, съдържащ подсказка.

„Тук има фундаментален проблем. Когато дадете на AI достъп до данни, тези данни стават цел за атака. Донякъде е смешно – ако имате бот, който е полезен, той е уязвим. Ако не е уязвим, значи е безполезен”, каза Баргори.

Уязвимостите се добавят към други доклади за заплахи от AI чатботовете, включително ChatGPT, които се докосват до набори от данни, съдържащи чувствителна информация, с риск да бъде разкрита.

От Microsoft все още не са коментирали резултатите от проучването на Баргори. Въпреки това, предвид сериозността на откритите уязвимости, компанията вероятно ще предприеме мерки за отстраняването им в близко бъдеще.