Разработчики ChatGPT будут отслеживать риски искусственного интеллекта, чтобы спасти человечество

Компания-разработчик самого известного чат-бота в мире OpenAI внедряет новые меры безопасности для борьбы с возможными угрозами искусственного интеллекта. Специалисты создали «консультативную группу по безопасности», которая будет контролировать работу технических команд и давать рекомендации руководству.

Совету директоров OpenAI предоставлено право вето на решения гендиректора. Эти меры, как считает вернувшийся в управление OpenAI Сэм Альтман, позволят компании снять вопросы прозрачности и безопасности работы над передовыми системами ИИ. Одним из ключевых компонентов новой системы безопасности является использование «оценочных карт» рисков для моделей ИИ, отслеживающих различные показатели потенциального ущерба, такие как возможности модели, уязвимости и последствия.

Предусматриваются различные меры по смягчению последствий, например, сдержанность ChatGPT в описании процесса изготовления напалма или самодельных бомб. Если после принятия мер по снижению риска модель по-прежнему оценивается как имеющая «высокий риск», ее не будут запускать.

Несколькими днями ранее компания Anthropic, основанная бывшими исследователями OpenAI, опубликовала свою политику ответственного масштабирования ИИ. Разработчики представили структуру, определяющую конкретные уровни безопасности ИИ и соответствующие протоколы по разработке и внедрению моделей.