В Microsoft создали инструменты, которые не позволят пользователям обманывать чат-ботов с ИИ

Microsoft пытается сделать так, чтобы пользователям было сложнее обманывать чат-ботов с искусственным интеллектом, заставляя их делать удивительные или неоднозначные вещи.

Об этом пишет Bloomberg.

Для этого компания разработала специальные инструменты, которые встроены в Azure AI Studio — сервис, позволяющий создавать персонализированных ИИ-помощников.

Эти инструменты содержат специальные prompt shields, цель которых состоит в выявлении и блокировании преднамеренных попыток заставить ИИ-модель вести себя непредсказуемым образом.

Кроме этого, Microsoft борется с indirect prompt injections, когда хакеры вставляют вредные инструкции в обучающие данные, заставляя модель выполнять такие незаконные действия, как хищение информации или захват системы.

В Microsoft объясняют, что новые средства защиты призваны обнаруживать подозрительные входящие данные и блокировать их в режиме реального времени. Компания также внедряет функцию, которая предупреждает пользователей, когда модель придумывает что-либо или генерирует ошибочные ответы.

Microsoft стремится повысить доверие к своим инструментам генеративного ИИ, которыми сейчас пользуются как потребители, так и корпоративные клиенты.

В феврале компания расследовала инциденты, связанные с чат-ботом Copilot, который генерировал ответы, варьировавшиеся от странных до вредных. После анализа инцидентов Microsoft заявила, что пользователи намеренно пытались ввести Copilot в заблуждение, чтобы он генерировал ответы.