Anthropic включила предупреждение о катастрофических и экзистенциальных рисках искусственного интеллекта в проспект перед планируемым IPO на Nasdaq в ноябре. Документ насчитывает более 300 страниц, примерно треть посвящена рискам развития ИИ.
Как сообщает «Российская газета» со ссылкой на РБК, компания развивает языковую модель Claude. Акции Anthropic, согласно публикации, планируется разместить под тикером ANT.
В проспекте говорится, что мощные системы без должного контроля могут представлять серьёзную угрозу, если их используют во вред, копируют, превращают в оружие или наделяют высокой степенью автономности. Это оценка самой компании, изложенная в документе для инвесторов.
Anthropic также указывает, что наиболее совершенные модели разработчика уже показали способности, которые могут помочь злоумышленникам создавать химическое, биологическое и другое опасное оружие. Среди возможных проблем названы непредусмотренное поведение моделей, попытки сопротивляться отключению, скрывать или искажать сведения и действия, напоминающие шантаж.
Компания отдельно отмечает, что ущерб от катастрофы, связанной с ИИ, может оказаться настолько масштабным, что у страховой отрасли не будет ресурсов для покрытия таких рисков. Выход Anthropic на биржу может стать первым IPO компании, специализирующейся непосредственно на искусственном интеллекте.
