Широкото използване на генеративен AI в индустриите изисква сигурност и оперативна осведоменост за рисковете и възможностите за смекчаване. В тази публикация в блога представяме топ 10 на рисковете и приложими стратегии за защита срещу тях. В крайна сметка ние предоставяме инструменти, които могат да помогнат.

Появата на генеративния AI

2022 г. отбеляза началото на нова област в генеративния AI. Този период стана свидетел на бързото развитие на LLM (големи езикови модели) като GPT-3, GPT-4, BERT, Claude, Gemini, Llama, Mistral и други. Тези LLM демонстрираха забележителни способности в обработката на естествен език (NLP), генериране на изображения и създаване на творческо съдържание. В резултат на това инструментите, управлявани от AI, се разпространиха в различни индустрии, повишавайки производителността и иновациите в създаването на съдържание, обслужването на клиентите, разработката и др. Те също имат потенциала допълнително да революционизират сектори като здравеопазване, финанси и развлечения.

Трансформиращото въздействие на тази модерна технология все още не е напълно разбрано. Все пак организациите, които искат да запазят конкурентно предимство, трябва да планират да включат GenAI в своите операции по-рано, отколкото по-късно. В същото време те трябва да се справят с рисковете за сигурността на GenAI.

Рискове от генериращ AI

Използването на Gen AI приложения и LLM, публични или чрез вътрешна разработка и/или внедряване, може да представлява риск за организациите. Тези рискове от Gen AI включват:

Категория #1: Рискове за сигурността и поверителността

1. Притеснения относно поверителността

Generative AI разчита на огромни количества данни, често събрани от различни източници. Те може да съдържат лична информация, включително PII. Ако тези данни се използват в изходни данни, те могат по невнимание да разкрият чувствителни подробности за лица, което води до нарушаване на поверителността и потенциална злоупотреба. Характерът на черната кутия на много модели на GenAI допълнително усложнява прозрачността и отчетността, което затруднява проследяването как се използват или съхраняват конкретни точки от данни.

2. Фишинг имейли и зловреден софтуер

Generative AI позволява на киберпрестъпниците да създават изключително убедителни и сложни атаки. Преди генеративния AI, един от издайническите признаци на фишинг имейл беше лошата граматика и формулиране. Въпреки това фишинг имейлите, генерирани от AI, могат да имитират тона, стила и формата на легитимните комуникации. Това затруднява откриването им за лица и системи за сигурност.

Освен това нападателите могат да използват GenAI за разработване и отстраняване на грешки в зловреден софтуер, който може да заобиколи традиционните мерки за сигурност. Този злонамерен софтуер за атака, генериран от AI, може да се адаптира и да се развива, което го прави още по-труден за защита.

3. Вътрешни заплахи и злоупотреба от страна на служителите

Вътрешните заплахи са лица в компанията, които използват техния достъп до чувствителна информация и системи. Тези заплахи могат да бъдат умишлени, като кражба на данни или саботаж, или неумишлени, като случайно изтичане на данни поради небрежност. Познаването на вътрешните лица с мерките за сигурност на организацията често им позволява да заобикалят защитите по-лесно от външни нападатели.

В контекста на GenAI вътрешните лица могат по невнимание да въвеждат или поставят чувствителни данни в приложенията на GenAI. Това може да включва изходен код, чувствителна бизнес информация, финансови данни, информация за клиенти и др.

4. Повишена повърхност за атака

Генеративните AI системи могат да увеличат повърхността за атака за заплахи за киберсигурността, тъй като те често се интегрират с различни източници на данни, API и други системи. Това създава множество входни точки за потенциални атаки. Сложността на тези интеграции може да доведе до уязвимости, които злонамерени участници могат да използват, като например инжектиране на злонамерени данни за манипулиране на AI изходи или достъп до чувствителна информация чрез слаби връзки в системата. 

Категория #2: Рискове за качеството и надеждността

5. Проблеми с качеството на изхода

Проблеми с качеството на изхода в генеративните AI системи възникват, когато AI генерира текст, изображения или други изходи, които са неточни, неправилни, подвеждащи, пристрастни или неподходящи. Факторите, допринасящи за лошото качество на изхода, включват неадекватни данни за обучение, недостатъчна настройка на модела и присъщата непредсказуемост на AI алгоритмите.

В критични приложения като здравеопазване, финанси и киберсигурност, неточните резултати от AI могат да доведат до сериозни финансови загуби, правни задължения, парализиране на бизнеса и дори застрашаване на живота. Но дори и в некритични приложения, неправилните резултати и разпространението на невярна или подвеждаща информация могат да имат последствия върху работата и живота на хората и ефективността на бизнеса.

6. Измислени „факти“ и халюцинации

Краен пример за гореспоменатия проблем с качеството е генерирането на „измислени факти“, наречени „халюцинации“. Това се случва, когато LLM генерира информация, която изглежда правдоподобна, но е изцяло изфабрикувана. Тези халюцинации възникват поради разчитането на модела на модели в данните за обучение, а не на истинско разбиране на фактическата точност. Както бе споменато, това може да доведе до разпространение на невярна или подвеждаща информация, което крие сериозни рискове – особено в контексти, където точността е от решаващо значение, като здравеопазване, правен или финансов сектор.

Категория #3: Правни и етични рискове

7. Авторско право, интелектуална собственост и други правни рискове

Генеративните AI системи често използват огромни количества данни, включително защитени с авторски права материали, за да обучат своите модели. Това може да доведе до непреднамерено възпроизвеждане на защитено съдържание, което потенциално нарушава правата на интелектуална собственост. Освен това съществува правният въпрос дали LLM има законно право да се обучава по данни за авторски права. И накрая, генерирането на ново съдържание, което много прилича на съществуващи произведения, може да предизвика правни спорове относно собствеността и оригиналността.

Тези предизвикателства се усложняват от неяснотата в настоящите закони за авторското право по отношение на генерираното от AI съдържание. В момента тези въпроси се обсъждат в съдилищата и в очите на обществеността. Например The New York Daily News, Chicago Tribune, Denver Post и други вестници са съди OpenAI и Microsoft за нарушаване на авторски права.

8. Предубедени резултати

Пристрастните резултати в системите с изкуствен интелект често произтичат от изкривени или непредставителни данни за обучение, които отразяват исторически предразсъдъци и системни неравенства. Когато AI моделите генерират предубедени резултати, това може да доведе до дискриминационни практики в области като наемане, отпускане на заеми, правоприлагане и здравеопазване, като несправедливо засяга маргинализирани групи. Това представлява сериозна заплаха за справедливостта и равенството, тъй като те могат да увековечат и дори да засилят съществуващите обществени пристрастия.

9. съгласие

Когато чувствителна информация се обработва от AI системи, има потенциал за изтичане на данни, неоторизиран достъп и злоупотреба с поверителни данни. Този риск се изостря, ако доставчикът на AI услуга няма стабилни мерки за сигурност и сертификати за съответствие. Следователно споделянето на данни с генеративни AI инструменти може значително да повиши риска от нарушаване на разпоредбите за съответствие и законите за защита на данните, особено в отрасли със строги изисквания за защита на данните.

Категория #4: Оперативни и финансови рискове

10. Разходи за експертиза и изчисления

При разработване, обучение и внедряване на LLM вътрешно, разходите за експертен опит и изчисления могат да бъдат значителни. Усъвършенстваните AI системи изискват високопроизводителни графични процесори, специализиран хардуер и облачни изчислителни услуги, което може да доведе до сериозни разходи. Освен това висококвалифицирани професионалисти, като учени по данни, ML инженери и експерти по домейни, получават премиум заплати. Глобалният недостиг на графични процесори и талант допълнително повишава тези разходи. Това представлява значителни бариери за навлизане на много организации. 

Стратегии за смекчаване на генериращите AI рискове за сигурността

След като очертаем рисковете, нека обсъдим стратегиите за защита срещу тях. 

Стратегии за сигурност и защита на поверителността

  • Опис – Идентифицирайте областите на бизнеса, където се използва gen AI. От служители, отправящи запитвания към популярни Gen AI приложения като ChatGPT, Claude или Gemini до вашите инженерни екипи, разработващи ваши собствени LLM, до използване на комерсиални или с отворен код LLM върху вашите данни.
  • Оценка на риска – Карта и оценка на потенциалните рискове за сигурността, свързани с всеки тип употреба. Можете да използвате списъка по-горе, за да си помогнете.
  • Внедрете контрол на достъпа – Използвайте механизми за проверка, за да управлявате до кое поколение AI системи имат достъп вашите служители и как. Например, корпоративно разширение за браузър може да попречи на вашите служители да инсталират a злонамерено разширение маскиран като легитимно разширение ChatGPT.
  • Прилагане на политики – Налагане на политики за това как GenAI приложенията могат да се използват в организацията. Например разширението на корпоративния браузър може да попречи на вашите служители да поставят чувствителен код в приложения от поколение AI.
  • Софтуерни корекции – Актуализирайте и коригирайте системи, за да подобрите вашата позиция на сигурност срещу атаки, управлявани от AI (и не управлявани от AI).
  • Мониторинг – Проследявайте и откривайте необичайни инциденти и подозрително поведение, от опити за неоторизиран достъп до необичайни модели на поведение до поставяне на чувствителни данни в инструменти от поколение AI.
  • Обучение на потребителите – Редовно обучавайте служителите за рисковете от поколение AI чрез разговори, тренировки и постоянна поддръжка. Корпоративно разширение за браузър може да поддържа онлайн обучение, като обяснява на служителите защо действия, като поставяне на изходния код в ChatGPT, се блокират.

Стратегии за защита на качеството и надеждността

  • Осигуряване на качеството на данните – Използвайте набори от данни, които са разнообразни, балансирани и без пристрастия или неточности. Внедрете стриктни процеси за валидиране на данните, като например автоматизирани проверки и ръчни прегледи. Непрекъснато актуализирайте и прецизирайте наборите от данни, за да отразявате актуална и точна информация. 
  • Показатели за оценка – Използвайте цялостни показатели за оценка като прецизност, припомняне, F1 резултат и BLEU, за да идентифицирате проблеми с точността и производителността на модела и неговите резултати.
  • Включете системи "човек в цикъла". – Включете човешки експерти във фазите на обучение, валидиране и фина настройка на разработването на модела. Хората могат да предоставят критични контекстуални прозрения, да идентифицират фини проблеми, които автоматизираните системи могат да пропуснат, и да предлагат предложения, които подобряват отговорите на модела.

Стратегии за правна и етична защита

  • Съответствие със законовите разпоредби – Гарантиране на съответствие със законите за защита на данните като GDPR и CCPA. Това означава да се гарантира, че данните, използвани за обучение, се получават и обработват законно, с подходящо съгласие и анонимност.
  • Създайте ясни етични насоки – Тези насоки трябва да включват принципи като справедливост, прозрачност, отчетност и избягване на пристрастия. Прилагането на етични рамки за ИИ може да осигури структуриран подход за гарантиране, че етичните съображения са разгледани.

Стратегии за оперативна и финансова защита

  • Осигурете мащабируемост, оптимизация и надеждност на инфраструктурата – Използвайте стабилни облачни услуги, високопроизводителни изчислителни ресурси, ефективни решения за съхранение на данни и мащабируеми AI тръбопроводи. Например, приемете разплащателен модел, договорете обемни отстъпки с облачни доставчици и използвайте предоставяне на GPU.

Решението за GenAI DLP

LayerX е корпоративно разширение за браузър, което предпазва от пренасяни от мрежата заплахи в точката на риск – браузъра. LayerX предоставя a DLP решение, специално проектирано за Generative AI инструменти като ChatGPT, целящи да защитят чувствителни данни, без да възпрепятстват потребителското изживяване.

Ключови възможности:

  • Картографиране и дефиниране на данни – Идентифицирайте и дефинирайте чувствителни данни като изходен код и интелектуална собственост за защита.
  • Персонализирани контроли за данни – Внедрете контроли като изскачащи предупреждения или блокиращи действия, когато бъдат открити чувствителни данни.
  • Сигурна производителност – Разрешаване на безопасно използване на инструменти GenAI чрез прилагане на мерки, подобни на DLP, за предотвратяване на неволно излагане на данни.
  • Контроли на разширението на браузъра – Управлявайте достъпа и действията в GenAI, за да защитите взаимодействието с данни.

Детайлно намаляване на риска – Откриване и смекчаване на високорискови дейности като поставяне на чувствителни данни, като същевременно поддържа безпроблемно потребителско изживяване.