Какво е GenAI сигурност?

Сигурността на GenAI се отнася до защитата на корпоративните среди от възникващите рискове, свързани с инструменти за генеративен изкуствен интелект, като ChatGPT, Gemini и Claude. С навлизането на тези инструменти, те въвеждат рискове от изтичане на данни, съответствие и скрит изкуствен интелект. Тази статия определя сигурността на GenAI и очертава корпоративните стратегии за осигуряване на безопасно и отговорно използване на изкуствен интелект.

Обяснение на GenAI

Сигурността на GenAI е практиката за идентифициране и смекчаване на рисковете, въведени от генеративни инструменти с изкуствен интелект, като ChatGPT, Copilot и Claude, в рамките на корпоративните работни процеси. Тези инструменти повишават ефективността и иновациите, но също така въвеждат нова и бързо развиваща се повърхност за атаки с изкуствен интелект, която традиционните решения за киберсигурност често не успяват да покрият. Сигурността на GenAI адресира тази празнина, като управлява излагането на чувствителни данни, прилага политики за използване на изкуствен интелект в цялата организация и открива опасно, несъответстващо или злонамерено поведение на изкуствен интелект. Тя комбинира технически предпазни мерки като предотвратяване на загуба на данни (DLP), базиран на браузър мониторинг и контрол на достъпа с надеждни рамки за управление на изкуствен интелект, съобразени с политиките и регулаторните стандарти на компанията. За разлика от сигурността на разработването на изкуствен интелект, която се фокусира върху осигуряването на обучение на модели и инфраструктура, сигурността на GenAI защитава слоя на използване, където служителите взаимодействат с външни инструменти с изкуствен интелект, осигурявайки безопасна, съобразена с политиките и отговорна защита на предприятието с изкуствен интелект.

Основни рискове на GenAI в предприятието

Тъй като организациите ускоряват внедряването на инструменти за генеративен изкуствен интелект, те трябва да се справят и с нова категория заплахи. Тези рискове произтичат не само от злонамерени лица, но и от начина, по който генеративният изкуствен интелект взаимодейства с данни, потребители и външна среда. По-долу са изброени най-належащите уязвимости на изкуствения интелект и рискове за сигурността, които предприятията трябва да управляват.

1. Интелектуална собственост и разкриване на поверителни данни

Един от най-непосредствените и критични рискове, свързани с GenAI, е Изтичане на данни от изкуствен интелектСлужителите често поставят поверителна информация като лични данни на клиенти, изходен код, бизнес планове или финансови прогнози в инструменти на GenAI като ChatGPT, без да осъзнават последиците. Тези подкани могат да бъдат съхранявани, обработвани или използвани за допълнително обучение, което води до трайна загуба на контрол върху тези данни. Дори когато доставчиците твърдят, че не обучават на входни данни, данните все още могат да бъдат кеширани или регистрирани в историята на сесиите, оставяйки вратата отворена за нарушения или злоупотреба.

ПримерЧлен на финансовия екип използва ChatGPT, за да генерира обобщение и поставя електронна таблица с данни за приходите за четвъртото тримесечие в подканата. Тази финансова информация вече може да се съхранява от доставчика на модела или потенциално да бъде изложена при бъдещи заявки от други потребители.

2. Нарушения на регулаторните и нормативните изисквания

Неконтролираното използване на GenAI може лесно да доведе до нарушения на разпоредбите за защита на данните, като например GDPR, HIPAA, PCI DSS или ССРАТези закони изискват стриктно боравене с лични, здравни или платежни данни, нещо, което повечето инструменти за изкуствен интелект на трети страни не са подготвени договорно или архитектурно да осигурят.

ПримерДоставчик на здравни услуги използва асистент за писане с изкуствен интелект, за да изготви резюме на грижите за пациента, включително медицинска история. Дори едно-единствено запитване, съдържащо PHI (Защитена здравна информация), споделено с външен инструмент с изкуствен интелект, може да бъде нарушение на HIPAA, което подлежи на докладване, рискувайки регулаторни глоби и увреждане на репутацията. В силно регулирани сектори само един такъв инцидент може да доведе до продължителен контрол от страна на регулаторните органи и одиторите.

Предприятията трябва да третират подканите от изкуствен интелект като изходящи комуникации и да прилагат същите Политика за ИИ намлява управление на данните строгост, за да се спазват изискванията.

3. Използване на скрит изкуствен интелект

Служителите често използват лични акаунти или неоторизирани инструменти с изкуствен интелект без познания в областта на информационните технологии, създавайки сенчести среди с изкуствен интелект. Въпреки че сенчестият изкуствен интелект често е добронамерен и е дълбоко вграден в работните процеси за повишаване на производителността, той в крайна сметка попада извън политиките за сигурност и не е под наблюдение или регистриране, което го прави плодородна почва за нарушения на съответствието и изтичане на данни от изкуствен интелект, както и сляпо петно за екипите по сигурност и защита на данните.

ПримерЕкип по продажбите започва да използва потребителска версия на ChatGPT, за да изготвя предложения за клиенти. С течение на времето те започват да въвеждат ценови стратегии, договорни условия и вътрешни показатели за ефективност, нито един от които не е защитен от DLP инструменти на корпоративните предприятия.

4. Рискови плъгини и разширения на трети страни

Разширенията и плъгините за браузър, задвижвани от изкуствен интелект, въвеждат сериозни Уязвимости на AI поради прекалено либерални дизайни. Много от тях имат достъп до цялата активност при сърфиране, данните от клипборда или бисквитките на сесията, за да функционират, което ги прави привлекателни цели за експлоатация. 

Рисковете включват:

• Атаки с инжектиране на изкуствен интелектЗлонамерени уебсайтове или скриптове манипулират подканите на плъгините, за да извличат или изтичат данни.
• Отвличане на сесияПлъгини с достъп до сесийни токени могат да бъдат използвани за представяне за потребители.
• Тихо събиране на данниРазширенията могат да четат или предават данни без знанието на потребителя.

Повечето плъгини са създадени от трети страни и може да не преминават през същата проверка за сигурност като вътрешните инструменти. Непровереното използване на плъгини може да доведе до неконтролирано изтичане на данни и да изложи регулирана информация на неизвестни лица, което представлява сериозен риск за генериране на данни от изкуствен интелект за предприятието.

ПримерРазширение за обобщаване с изкуствен интелект, инсталирано от потребител, има разрешения за четене на всеки раздел. Хакер използва недостатък в плъгина, за да извлича чувствителни CRM данни, преглеждани от потребителя, без дори да задейства традиционно DLP или антивирусно предупреждение.

5. Ерозия на системата за вътрешна сигурност

Неконтролираното използване на изкуствен интелект отслабва цялостната сигурност на предприятието. Когато служителите използват публични инструменти с изкуствен интелект чрез неуправлявани браузъри или лични акаунти, чувствителните данни заобикалят традиционните контроли за сигурност, като защитни стени, защита на крайни точки или облачно DLP. Екипите по сигурност губят видимост върху това как и къде се обработват данните. С течение на времето това подкопава способността на организацията да открива нарушения, да поддържа готовност за одит и да прилага политики за сигурност, оставяйки бизнеса уязвим както за вътрешни, така и за външни заплахи. Тези слепи зони за сигурност дават на нападателите или небрежните вътрешни лица път за експлоатиране на данни, без да задействат стандартните защити – което прави генеративна AI сигурност спешен приоритет.

Пример:

Служителите, използващи инструменти на GenAI като ChatGPT на лични устройства, споделят данни за клиенти, които никога не докосват корпоративната инфраструктура, което ги прави невидими за ИТ екипите и екипите за съответствие.

6. Оперативни и правни смущения

Излагането на данни чрез инструменти на GenAI може да предизвика съдебни производства, одити и вътрешни разследвания, отклонявайки ресурси и нарушавайки ежедневните операции чрез забавяне на проекти, както и създавайки вътрешни противоречия между екипите, търсещи отчетност и смекчаване на последиците. Освен финансовите загуби от развалянето на сделката, организацията може да се изправи пред съдебни искове, неустойки или арбитражни производства. 

Пример:

Производствена компания открива, че в ChatGPT са въведени чувствителни условия на доставчици и е възможно те да са изтекли. Екипите за снабдяване са принудени да предоговарят договорите, докато правният отдел управлява запитванията към доставчиците и оценките на отговорността.

Тези рискове подчертават защо традиционните контроли за сигурност вече не са достатъчни в ерата на генеративния изкуствен интелект. От изтичане на данни от изкуствен интелект и скрит изкуствен интелект до нарушения на регулаторните разпоредби и заплахи, базирани на плъгини, организациите трябва да преосмислят как наблюдават, управляват и осигуряват използването на изкуствен интелект в цялото предприятие. За да се задълбочите в тези развиващи се заплахи и как да се справите с тях, прочетете пълната статия на Генеративни AI рискове.

Какво движи разширяването на повърхността за атаки с изкуствен интелект в предприятията

Бързият възход на генеративния изкуствен интелект (ИИ) коренно промени пейзажа на корпоративните заплахи. Това, което някога беше ясно дефиниран периметър, сега е разкъсано от нарастващо съзвездие от инструменти, плъгини и облачни работни процеси, задвижвани от ИИ. Тези технологии повишават производителността, но също така драстично разширяват... Повърхност за атака с изкуствен интелект, въвеждайки нови слепи зони в сигурността, с които традиционните защитни системи никога не са били проектирани да се справят.

Експлозия от инструменти с изкуствен интелект и SaaS приложения, интегрирани с изкуствен интелект

GenAI не е равно на ChatGPT. Всъщност много неща са се променили от пускането на ChatGPT през ноември 2022 г. Оттогава екосистемата на GenAI се развива с безпрецедентни темпове. Нови модели и инструменти, задвижвани от изкуствен интелект, се появяват седмично и месечно, като всеки от тях предлага повече възможности и подобрения от предишния. Иновациите се ускоряват толкова бързо, че според Gartner значително изпреварват темпото на всяка друга технология. 

Предприятията интегрират генеративен изкуствен интелект на всяко ниво на стека. От помощници с изкуствен интелект, вградени в среди за разработчици, до автоматизирани асистенти в CRM платформи, средностатистическият служител вече може да взаимодейства с множество системи с изкуствен интелект ежедневно. SaaS доставчици, от Notion и Slack до Salesforce и Microsoft 365, всички те са стартирали... Функции, интегрирани с изкуствен интелект предназначени да подобрят ефективността на работния процес. За потребителите подобренията, базирани на изкуствен интелект, се превръщат в стандартно очакване, а не в удобно допълнение. GenAI се е превърнал в неразделна част от работното място. Но същите тези интеграции често идват с широк достъп до вътрешни данни, документи, календари и разговори.

Това разпространение на SaaS AI инструменти означава, че организациите вече трябва да осигурят разнообразен набор от външни платформи, които приемат чувствителна информация, често без последователно регистриране, контрол на достъпа или видимост. Всяка нова интеграция създава потенциален вектор за Излагане на данни от изкуствен интелект, особено когато настройките по подразбиране дават приоритет на използваемостта пред сигурността.

Браузърите са новите работни пространства с изкуствен интелект

За разлика от традиционните корпоративни приложения, които функционират като специализирани настолни приложения, повечето взаимодействия с GenAI се осъществяват чрез уеб браузъри. Повечето инструменти за изкуствен интелект, като ChatGPT, Claude и Gemini, са достъпни чрез браузър. Макар и удобен, този базиран на браузър модел въвежда уникални... Рискове от изкуствен интелект в браузъра , като Атаки от типа „човек по средата“ (MITM), Кражбата на токени или дори експлоатацията на разширения на браузъра стават възможни, ако сесията не е правилно изолирана.

Традиционните инструменти за сигурност, които са проектирани за традиционни корпоративни приложения и контролирани среди, са зле оборудвани за проверка или контрол на взаимодействията с изкуствен интелект в динамични сесии на браузъра. Те не могат да правят разлика между безопасни и опасни входни данни, използване на лични и корпоративни акаунти, нито да откриват копиране и поставяне на чувствителни данни в LLM подкани. Например, потребителите могат лесно да поставят чувствителни данни за финансови компании в ChatGPT или да качват собствен изходен код, без да задействат предупреждения за сигурност. Тази липса на видимост и контрол в реално време, съобразени с контекста, на ниво браузър създава значителни рискове, принуждавайки предприятията да преосмислят своите стратегии за сигурност в работно място, ориентирано към изкуствения интелект.

Разширения за продуктивност, задвижвани от изкуствен интелект

Разширенията на браузъра, задвижвани от генеративен изкуствен интелект, като например обобщаващи инструменти с изкуствен интелект, асистенти за писане или програми за водене на бележки от срещи, често изискват прекомерни разрешения. Те включват достъп до съдържанието на страницата, „бисквитки“ и понякога до натискане на клавиши. Много от тях са създадени от разработчици на трети страни с ограничен или никакъв надзор върху сигурността.

Тези разширения отварят вратата към Атаки с инжектиране на изкуствен интелект, тихо извличане на данни или отвличане на сесия, особено когато са инсталирани на неуправлявани крайни точки. След като са инсталирани, те работят безшумно, взаимодействайки с потребителските данни в реално време и предавайки ги към външни API, често извън обсега на традиционните инструменти за сигурност.

API-свързани работни процеси в облака

В облачни среди, възможностите на изкуствения интелект (ИИ) все повече се вграждат в автоматизирани работни процеси чрез API. Разработчиците могат да свързват LLM с CI/CD канали, потоци за обслужване на клиенти или канали за обработка на данни, често предавайки структурирани или неструктурирани данни на ИИ модели на трети страни за обобщаване, превод или класификация.

Това създава до голяма степен невидимо Повърхност за атака с изкуствен интелект, където чувствителни данни се движат към и от услуги с изкуствен интелект, без да бъдат правилно сканирани или филтрирани. Крайните точки на API могат също да бъдат използвани за инжектиране на враждебни входни данни, извличане на вътрешни данни или изпълнение на експлойти за сигурност на изкуствен интелект, ако не са правилно валидирани.

Предизвикателството за наблюдаемост

Основно предизвикателство при осигуряването на този нов, задвижван от изкуствен интелект пейзаж е липса на наблюдаемост в реално времеТрадиционните инструменти за сигурност не откриват директно подканите от изкуствен интелект, не проследяват използването на инструментите с изкуствен интелект, нито идентифицират контекста на потоците от данни в рамките на сесиите на браузъра или взаимодействията с API. В резултат на това организациите не знаят как, къде и кога данните влизат или излизат от слоя с изкуствен интелект. 

За да се предпази от съвременните Рискове за сигурността на изкуствения интелектОрганизациите се нуждаят от видимост на всяко взаимодействие между потребителите и изкуствения интелект – независимо дали се случва в раздел на браузър, SaaS интеграция или извикване на облачен API. Без непрекъснато наблюдение, управление и прилагане, слоят с изкуствен интелект се превръща в ненаблюдаван портал за изтичане, преместване или злоупотреба с чувствителни данни.

Браузър-базирано DLP и несигурен дизайн на плъгини в екосистемите на GenAI

С ускоряването на внедряването на генеративен изкуствен интелект в предприятията, браузърът се превърна в централна точка за достъп, където служителите взаимодействат с инструменти като ChatGPT, Microsoft Copilot и стотици разширения, задвижвани от изкуствен интелект. Но с тази промяна идва и належащата необходимост от преосмисляне на традиционното предотвратяване на загуба на данни (DLP). DLP на браузъра се очертава като жизненоважен слой за сигурност за наблюдение и контрол на използването на изкуствен интелект в среди, които все повече разчитат на разширения за Chrome, SaaS приложения и уеб-интегрирани плъгини.

Защо DLP на ниво браузър е важен в ерата на GenAI

За разлика от традиционните приложения, инструментите на GenAI са до голяма степен уеб-базирани и често са достъпни извън одобрени платформи. Служителите често използват разширения на браузъра или уеб приложения, за да генерират код, съдържание или анализи. Това използване заобикаля остарелите DLP инструменти, които се фокусират върху крайни точки, имейл или създаване на мрежов трафик. Слепи петна в защитата на данните от изкуствен интелект.

Решенията за DLP, базирани на браузър, запълват тези пропуски, като проверяват потребителските взаимодействия в браузъра в реално време. Това позволява на организациите да откриват кога чувствителни данни, като например изходен код, клиентски записи или финансови документи, се копират, въвеждат или качват в подканите с изкуствен интелект. В комбинация с прилагането на правила, това позволява на организациите да блокиране, редактиране или предупреждение за рисково поведение, преди данните да бъдат разкрити.

Скритият риск от несигурните AI плъгини и разширения

Разширения за браузър с изкуствен интелект които активират или подобряват функционалността на изкуствения интелект, са особено проблематични. Много от тях са проектирани с широки разрешения за достъп до данни от клипборда, манипулиране на съдържанието на страницата или прихващане на входни данни. Без подходяща проверка, тези разширения въвеждат изтичане на данни, базирано на плъгини и други рискове с висока степен на сериозност, като например:

• Отвличане на сесия – Злонамерени плъгини могат да събират бисквитки за удостоверяване, предоставяйки на нападателите достъп до SaaS приложения или вътрешни системи.
• Атаки с инжектиране на изкуствен интелект – Разширенията могат да променят входните данни или отговорите от подканите, като инжектират злонамерени команди или променят изхода по начини, които остават незабелязани.
• Тихо извличане на данни – Някои плъгини регистрират взаимодействията на потребителите или подканят съдържание и го изпращат на сървъри на трети страни без знанието на потребителя.

Рискът не е хипотетичен. През 2023 г. беше открито популярно разширение ChatGPT с над 10,000 XNUMX инсталации, което краде токени за сесии във Facebook, демонстрирайки как... Рискове от разширението на GenAI може да ескалира в пълномащабни инциденти със сигурността.

Изтичане на данни между плъгините

Плъгините за браузър с изкуствен интелект често изискват широки разрешения за достъп до съдържанието на страницата, полетата за въвеждане, клипбордовете или фоновите процеси. Когато множество разширения работят в един и същ браузър, тези разрешения могат да се припокриват, създавайки непредвидени пътища за излагане на данни.

Например, асистент за писане може да обработва входни документи, докато отделен плъгин осъществява достъп до същия DOM или локално хранилище. Без стриктна изолация на данните, чувствително съдържание може неволно да се прехвърля между плъгините дори когато нито едното, нито другото не е злонамерено. 

Този риск нараства с фоновите процеси и споделените API, където един плъгин може да действа като мост за прехвърляне на данни от друг. Следователно, съвместно съществуващите разширения на GenAI размиват границите на данните, което прави изолацията на плъгините и DLP, базиран на браузър, от съществено значение.

Ограничения на магазините за приложения в браузъра

Магазините за разширения за Chrome и Edge дават приоритет на потребителския достъп, а не на корпоративната сигурност. Липсват им задълбочени одити на разрешенията, стандарти за сигурна разработка и мониторинг след публикуване. Това позволява злонамерени или прекалено разрешителни GenAI плъгини да останат активни, докато не бъдат маркирани от потребители или изследователи. Много от тях са създадени от неизвестни разработчици с непрозрачни практики за данни, но въпреки това получават достъп до критични работни процеси. Магазините за приложения за браузъри не са надежден пазител. Предприятията трябва предварителен ветеринарен преглед, контрол и наблюдение Самите AI плъгини.

Прилагане на принципите на нулево доверие към разширенията на изкуствения интелект

Прилагане на a Нулево доверие Нагласата към разширенията на браузъра е от съществено значение, особено в среди с интензивно използване на GenAI. Точно както предприятията внимателно проверяват приложенията, потребителите и устройствата, Плъгините трябва да се третират като ненадеждни по подразбиране.

Това означава:

• Проверка на автентичността на издателя преди инсталиране
• Одитиране на обхвата на разрешенията, за да се избегне превишаване (напр. клипборд, DOM, достъп за фон)
• Непрекъснато наблюдение на поведението на плъгина, дори след одобрение

В работните процеси на GenAI, където плъгините често имат достъп до чувствителни текстови входове, този подход помага за предотвратяване на тихо изтичане на данни и злоупотреба с привилегии. На никой плъгин не трябва да се доверяват безрезервно предприятията. Вместо това, те трябва да третират всеки един като потенциален риск и да налагат спазването на правилата. достъп с най-ниски привилегии, проверен чрез самоличностТози многопластов подход за сигурност гарантира, че предприятията могат да се възползват от повишената производителност на GenAI, без да отварят вратата за компрометиране, базирано на плъгини, или неоторизиран трансфер на данни.

Защо управлението на ИИ е от основно значение за сигурността

Тъй като генеративните инструменти за изкуствен интелект се вграждат в ежедневните бизнес работни процеси, предизвикателството пред лидерите по сигурността вече не е дали да разрешат използването на изкуствен интелект, а как да го контролират отговорно. Именно тук се налага... AI управление става централно място за корпоративната сигурност и осигурява рамката, която гарантира сигурно използване на изкуствен интелект, балансирайки иновациите с управлението на риска и осигурявайки продуктивност, без да се прави компромис с целостта на данните, съответствието или доверието.

В основата си, управлението с изкуствен интелект обединява екипите по сигурност, правни въпроси и съответствие около споделена... Политика за ИИ която предоставя стратегическа и оперативна рамка, необходима за контрол на начина, по който се осъществява достъп, използват и наблюдават инструменти с изкуствен интелект, като по този начин се гарантира готовността на предприятията с нарастването на внедряването на изкуствен интелект. Рамката трябва да включва: 

1. Създаване на правила за използване на изкуствен интелект

Ефективното управление на ИИ започва с ясно Политика за използване на изкуствен интелект който определя кои инструменти са одобрени, какви данни могат да се използват и къде изкуственият интелект е подходящ или ограничен. Той елиминира неяснотите, съгласува заинтересованите страни и поставя основите за сигурно и съвместимо внедряване на изкуствен интелект в екипите.

2. Достъп до инструменти с изкуствен интелект, базиран на роли

Контролът на достъпа, базиран на роли (RBAC), гарантира, че служителите използват само инструменти с изкуствен интелект, подходящи за техните роли, като по този начин осигуряват продуктивност и същевременно защитават чувствителните данни. Той се основава на принципа, че не всички служители се нуждаят или трябва да имат достъп до едни и същи възможности или набори от данни с изкуствен интелект за своята работна област. Разработчици, маркетолози, правни екипи и др. получават персонализиран достъп, намалявайки риска и предотвратявайки злоупотреба. Тези контроли предотвратяват случайна злоупотреба, като същевременно подкрепят легитимните нужди за производителност, базирани на бизнес функцията и рисковия профил.

3. Одобрения за употреба и обработка на изключения

Рамките за управление на ИИ трябва да включват и работни потоци за управление на изключения и специални случаи на употреба. Ако служител или екип се нуждае от достъп до ограничен инструмент или случай на употреба с ИИ:

• Те трябва да подадат официално искане.
• Заявката трябва да премине през процес на преглед на риска, включващ заинтересовани страни по сигурността или съответствието.
• Временен достъп може да бъде предоставен при спазване на специфични предпазни мерки, като например допълнително наблюдение или ръчен преглед на резултатите.

Тази система на одобрения за употреба и обработка на изключения осигурява гъвкавост, без да се прави компромис с надзора.

4. Централизирано регистриране и преглед на взаимодействията с изкуствен интелект

Управлението не е само определяне на това какво е позволено, но и осигуряване на видимост върху това, което всъщност се случва. Централизирано регистриране Взаимодействието на инструментите с изкуствен интелект осигурява необходимата одитируемост както за вътрешна отчетност, така и за външно съответствие.

Това включва записване на историята на подканите и отговорите, събиране на метаданни като потребителски идентификатор, време на сесията и контекст на браузъра и др. Тези записи помагат за откриване на злоупотреби, разследване на инциденти и прецизиране на политиката с течение на времето.

5. Мониторинг за нарушения на правилата или аномално поведение

За да се затвори цикълът между политиката и защитата, управлението с изкуствен интелект трябва да бъде съчетано с наблюдение в реално време. Екипите по сигурност се нуждаят от системи, които могат:

• Откриване на подкани, съдържащи ограничени данни (напр. ключови думи, шаблони за регулярни изрази).
• Маркирайте или блокирайте неоторизирано използване на инструменти с изкуствен интелект в браузъра или на неуправлявани устройства.
• Идентифицирайте аномално поведение, като например прекомерна честота на подканите, необичайни времена за достъп или неочаквана активност на плъгините.

Чрез непрекъснато наблюдение за нарушения на политиките, управлението се трансформира от статичен документ в активен, адаптивен слой за сигурност.

Адаптиране на управлението към бързо развиващия се пейзаж на изкуствения интелект

Съществуващите рамки за управление, като ISO/IEC 42001 (Системи за управление на изкуствения интелект) и Рамката за управление на риска, свързан с изкуствения интелект, на NIST, предоставят полезни отправни точки, но те трябва да бъдат адаптирани, за да отчитат уникалното темпо и поведение на инструментите на GenAI. Тези инструменти не работят като традиционния софтуер; те се развиват в реално време, обработват непредсказуеми входни данни и често се консумират чрез потребителски интерфейси.

Следователно, управлението на ИИ трябва да бъде итеративно и динамично. То трябва да се преразглежда често, да отразява моделите на употреба в реалния свят и да се развива заедно с възможностите на ИИ и разузнаването за заплахи. 

Управление: Мостът между подпомагането и защитата

В обобщение, управлението на ИИ е свързващата тъкан между отговорното внедряване на ИИ и защитата на корпоративно ниво. То гарантира, че инструментите с ИИ не само са разрешени, но и се използват безопасно, етично и в пълно съответствие с вътрешните и външните изисквания. Без официална структура на управление, предприятията са изправени пред фрагментирана среда, в която служителите свободно експериментират с ChatGPT, Copilot и други инструменти – често поставяйки чувствителни данни в публични модели или използвайки непроверени плъгини. Това отваря вратата за нарушения на съответствието, изтичане на данни и неконтролирано вземане на решения с ИИ, които биха могли да повлияят на операциите или правния статут. Следователно, с развитието на GenAI, управлението трябва да остане гъвкаво, приложимо и дълбоко интегрирано в по-широката архитектура за сигурност на организацията.

Най-добри практики за сигурност на GenAI

• Картографиране на цялото използване на ИИ в организацията

Първата стъпка в управлението на риска, свързан с GenAI, е да се определи как той се използва в цялата компания. Като част от този процес на картографиране, организациите трябва да наблюдават:

• Кои инструменти на GenAI се използват? Достъпват ли се чрез уеб приложения, разширения на браузъра или самостоятелен софтуер?
• Кой ги използва? Те в отделите за научноизследователска и развойна дейност, маркетинг, финанси или други?
• За какво използват GenAI? Задачи като преглед на код, анализ на данни и генериране на съдържание?
• Какъв вид данни се въвеждат в тези инструменти?  Служителите разкриват ли код, чувствителни бизнес данни или лична информация?

След като имате отговори на тези въпроси, можете да започнете да изграждате ясен профил на употреба, да откривате области с висок риск и да създавате план, който позволява продуктивност, като същевременно гарантира защита на данните.

• Внедряване на достъп, базиран на роли, и предотвратяване на лични акаунти

Кандидатствай ролеви контроли за достъп за да се ограничи експозицията въз основа на длъжностната функция и риска от чувствителност на данните. Разработчиците може да се нуждаят от достъп до асистенти за кодиране с изкуствен интелект, докато правните или финансовите екипи може да изискват ограничения поради обработката на чувствителни данни. Използвайте работни потоци за одобрение за изключения, позволявайки гъвкавост под надзора на управлението. 

За да предпазят чувствителна информация от необезпечени LLM потребители, организациите трябва да блокират личните данни за вход и да наложат достъп чрез корпоративни акаунти, които идват с функции за сигурност, като например частни потребители, ангажименти за нулево обучение, строги контроли за запазване на данни и по-строги гаранции за поверителност.

• Внедряване на DLP на ниво браузър с изкуствен интелект

Достъпът до инструменти за генеративен изкуствен интелект се осъществява предимно през браузъра, което прави AI DLP (Защита от загуба на данни) на ниво браузър, критична контролна точка. Инструментите за предотвратяване на загуба на данни, базирани на браузър, могат:

• Откриване кога се въвеждат чувствителни данни в подканите на ИИ
• Блокирайте или редактирайте регулирана информация в реално време
• Осигуряване на взаимодействия с лог файлове за съответствие и готовност за одит

DLP контролите, базирани в браузър, са от съществено значение за наблюдение на използването на изкуствен интелект, което заобикаля традиционните инструменти за крайни точки или мрежова сигурност.

• Мониторинг и контрол на AI разширения

Разширенията за браузър, задвижвани от изкуствен интелект, въвеждат риск чрез прекалено ограничен достъп до уеб страници, натискания на клавиши и данни от сесии. Прилагайте политики за контрол на разширенията с изкуствен интелект, които:

• Ограничете инсталирането на неодобрени или неизвестни плъгини
• Одит на използваните разширения и оценка на техните разрешения
• Блокиране на разширения с прекомерен достъп до корпоративни приложения

Преглеждайте непрекъснато поведението на плъгина, за да откриете аномална активност или тихо събиране на данни.

• Обучете служителите си за безопасно използване на изкуствен интелект

Програмите за повишаване на осведомеността за сигурността в предприятията трябва да включват и обучения за сигурно използване на GenAI. Организациите трябва да обучават служителите си да:

• Разпознайте какви данни никога не трябва да се споделят с инструменти с изкуствен интелект.
• Използвайте одобрени платформи и следвайте указанията на политиката.
• Докладвайте за предполагаема злоупотреба или неоторизирани инструменти.

Включете сигурността на ИИ в редовните цикли на обучение, за да затвърдите отговорното поведение с развитието на инструментите на ИИ.

Реални последици от лошата сигурност на GenAI

Въпреки че инструменти на GenAI като ChatGPT могат да ускорят производителността, тяхната злоупотреба или необезпечено внедряване вече е довело до значителни нарушения, нарушения на съответствието и щети за репутацията. Слабото управление на ИИ, прекалено разрешителните разширения и несанкционираната употреба на инструменти се оказаха основни фактори за реални провали в сигурността, което подчертава защо управлението на риска от GenAI вече не е по избор.

1. Разкриване на изходния код в Samsung

В началото на 2023 г. Samsung попадна в заглавията, след като инженери поставиха собствен изходен код в ChatGPT, за да отстранят грешки. Въпреки че целта беше да се подобри производителността, ефектът беше незабавен: силно поверителен код беше потенциално изложен на моделите и системите за съхранение на OpenAI. Този инцидент предизвика вътрешна забрана на ChatGPT и доведе до одит на използването на инструменти за изкуствен интелект в цялата компания.

За вкъщи: Дори добронамереното използване на GenAI може да доведе до необратима загуба на данни, ако не са определени и приложени правилните граници на използване.

2. Злоупотребата с ChatGPT води до разследване за съответствие в DWS Group

DWS Group, дъщерно дружество за управление на активи на Deutsche Bank, беше разследвано, след като служители използваха ChatGPT за инвестиционни проучвания и комуникация с клиенти. Регулаторните органи определиха това като нарушение на съответствието, отбелязвайки, че финансовите институции трябва да проверяват инструментите с изкуствен интелект и да гарантират, че резултатите отговарят на регулаторните стандарти за точност и обработка на данни.

Въздействие: Регулаторен контрол, репутационен риск, затягане на политиката за съответствие.

3. Телепроизводителност – Опасения относно поверителността на данните, свързани с инструментите за мониторинг на изкуствен интелект

Teleperformance, глобален доставчик на обслужване на клиенти, се сблъска с критики относно използването на инструменти за наблюдение, базирани на изкуствен интелект, за наблюдение на служители, работещи от вкъщи. Установено е, че инструментите събират лични и чувствителни данни, включително видеозаписи, без надлежно съгласие или предпазни мерки от страна на потребителя. Регулаторите за защита на данните повдигнаха въпроси. Злоупотреба с изкуствен интелект и етични съображения.

Въздействие: Обществена реакция, одити за защита на данните и оперативни промени в внедряването на инструменти с изкуствен интелект.

4. Халюцинациите, причинени от изкуствен интелект, водят до правен риск

Международна консултантска фирма се сблъска с репутационни проблеми, след като генеративен инструмент с изкуствен интелект, използван за вътрешни проучвания, върна неточна информация в документ, насочен към клиента. Халюцинираното съдържание, представено като фактическо, доведе до нарушени взаимоотношения с клиентите и загуба на договор.

За вкъщи: Генеративното въздействие на ИИ се простира отвъд сигурността, тъй като инструменти, които генерират погрешни или подвеждащи резултати, могат да причинят репутационни, оперативни и правни щети, ако се използват без подходящ преглед.

5. Увеличено ИТ натоварване от разрастването на Shadow AI Tool

При липсата на централизиран контрол, служителите често използват неоторизирани инструменти и плъгини с изкуствен интелект, за да повишат производителността. Това разрастване на ресурсите натоварва ИТ екипите с проследяване, оценка и смекчаване на неизвестни рискове.

Пример: Компания от Fortune 500 откри над 40 неодобрени инструмента за изкуствен интелект, активно използвани в различни отдели, всеки с различни нива на достъп и неясни практики за обработка на данни.

Въздействие: Увеличени ИТ разходи, фрагментирана рискова среда, спешна нужда от управление.

6. Инциденти със сигурността чрез злонамерени разширения или плъгини

Разширенията за браузър GenAI могат да въведат рискове от инжектиране на AI, тих достъп до данни или отвличане на сесии, особено когато са прекалено разрешителни или не са проверени от екипите по сигурността.

Пример: Разширение ChatGPT в уеб магазина на Chrome е открито, че краде бисквитки на сесията на Facebook, предоставяйки на нападателите пълен достъп до акаунта.

Въздействие: Поглъщане на акаунти, нарушения на ниво браузър, ерозия на потребителското доверие.

Без силна сигурност и управление на GenAI, предприятията рискуват повече от просто технически уязвимости. Те са изправени пред правни, репутационни и оперативни последици. Проактивното справяне с тези рискове чрез контрол на ниво употреба, DLP и управление, базирано на роли, е от съществено значение за безопасното и продуктивно внедряване на ИИ.

Как LayerX осигурява използването на GenAI

С въвеждането на инструментите на GenAI на предприятията, предизвикателството за защита на чувствителни данни от неволно излагане става неотложно. Традиционните инструменти за сигурност не са създадени за динамичния, базиран на браузъра характер на взаимодействията на GenAI. Тук се намесва LayerX – предоставяйки специално разработени, браузърно-ориентирани защити, които осигуряват видимост, контрол и защита в реално време срещу неволно изтичане на данни, без да се прави компромис с производителността.

• DLP в браузъра в реално време за подкани от изкуствен интелект

В основата на решението на LayerX е неговата DLP (Data Loss Prevention - Предотвратяване на загуба на данни). За разлика от традиционните DLP инструменти, които работят на мрежово или крайно ниво, LayerX се интегрира директно в браузъра - основният интерфейс за инструменти с изкуствен интелект като ChatGPT. Това му позволява да проверява и контролира потребителския вход в реално време, преди данните да напуснат периметъра на предприятието. LayerX открива чувствителни данни като PII, изходен код, финансови данни или поверителни документи, когато потребителите се опитват да ги поставят или въвеждат в ChatGPT. След това прилага действия, базирани на правила, като например редактиране, предупредителни подкани или пълно блокиране.

РезултатЧувствителните данни се спират при източника, предотвратявайки случайно или неоторизирано излагане, без да се прекъсва работният процес на потребителя.

• Генеративно наблюдение с изкуствен интелект и видимост на изкуствен интелект в сянка

LayerX предоставя пълна видимост върху всички инструменти, уебсайтове и SaaS приложения на GenAI, до които потребителите имат достъп, независимо дали са санкционирани или скрити. Чрез непрекъснато наблюдение на активността в браузъра, той идентифицира кой използва кои инструменти с изкуствен интелект и чрез кои акаунти – корпоративни, SSO или лични. Също така открива какъв тип данни се въвеждат, независимо дали пишат подкани, поставят данни за клиенти или качват чувствителни файлове. 

Резултат: Това позволява на екипите по сигурността да откриват неоторизирана употреба, да елиминират скрит изкуствен интелект, да наблюдават взаимодействията с чувствителни данни, да идентифицират поведение с висок риск и да предприемат коригиращи действия, преди да възникне инцидент с данните.

• Детайлно, контекстно-съобразено прилагане на политики

С LayerX предприятията могат да дефинират контекстно-зависими политики, съобразени със случаите на употреба на изкуствен интелект. Политиките могат да се прилагат на ниво браузър въз основа на потребителска роля, контекст на приложението, тип данни и атрибути на сесията. Например, политиките могат да позволят на маркетинговите екипи да използват ChatGPT за генериране на съдържание, като същевременно блокират изпращането на клиентски данни или вътрешни документи. На разработчиците може да бъде разрешено да тестват фрагменти от код, но да не споделят хранилища с изходен код. LayerX налага действия, базирани на политики, като например редактиране, предупредителни подкани, за да предупреждава потребителите, когато са на път да нарушат политика, или пълно блокиране.

РезултатВнедряване на изкуствен интелект и защита на предприятията чрез изкуствен интелект, осигуряващи отговорно използване без ограничаване на иновациите.

• Управление на плъгини и разширения

LayerX също така предпазва от рискови взаимодействия с AI плъгини, които могат незабелязано да извличат съдържание от подканите към API на трети страни. Той идентифицира и категоризира AI разширенията и плъгините за браузър по ниво на риск, източник и функционалност. Също така наблюдава и управлява поведението на плъгините, като дава възможност на администраторите да одобряват, блокират или ограничават плъгините въз основа на техните практики за обработка на данни. 

РезултатПредприятията намаляват излагането си на уязвимости, базирани на плъгини, и налагат по-силно управление на данните, свързани с изкуствен интелект, в цялата организация.

Заключение: Осигуряване на безопасен и мащабируем изкуствен интелект в цялото предприятие с LayerX

Генеративният изкуствен интелект (ИИ) е тук, за да остане и променя начина, по който се върши работата във всяка организация. Но без правилните предпазни мерки, инструментите на GenAI, като ChatGPT, могат бързо да се превърнат от усилватели на производителността в рискове от изтичане на данни. LayerX дава възможност на предприятията да възприемат ИИ уверено, с видимост, контрол и защита, необходими за защита на чувствителните данни, съответствие с правилата за използване и контрол на риска. Независимо дали се борите със скрития ИИ, прилагате политики за използване на ИИ или предотвратявате изтичане на данни в реално време, LayerX предоставя основата за сигурност за безопасно и мащабируемо внедряване на ИИ. 

Не позволявайте на иновациите в областта на изкуствения интелект да изпреварят стратегията ви за сигурност. Вземете LayerX още днес и превърнете изкуствения интелект от риск в конкурентно предимство.

Заявете демо за да видите LayerX в действие.