Anthropic заявляє про злам систем трьох організацій своїм ШІ Claude

Інцидент стався через кілька днів після аналогічної заяви конкурента OpenAI, який повідомив про злам систем інших компаній, зокрема платформи Hugging Face. Це спонукало Anthropic перевірити власні моделі на подібні дії.

У компанії заявили, що проаналізували понад 140 000 тестів, щоб виявити докази того, що сімейство моделей Claude могло отримати доступ до інтернету з ізольованих тестових середовищ. Під час випробувань проводилися так звані "захоплення прапора", коли моделі доручали отримати інформацію через злом інших систем — стандартний метод оцінки здібностей ШІ до кібератак.

Як пояснили в компанії з Сан-Франциско, "неправильна конфігурація" систем, що використовувалися Anthropic та її партнером із тестування, залишила моделям доступ до інтернету в реальному часі. Перші інциденти сталися ще в квітні. Ні компанія, ні постраждалі організації не помітили вторгнень на той момент.

Anthropic не назвала постраждалі організації, але закликала інші ШІ-лабораторії провести аналогічні перевірки, щоб краще зрозуміти ризики, пов'язані з можливостями своїх моделей. Компанія зазначила, що отримані дані вселяють "обережний оптимізм" щодо подолання подібних ризиків за рахунок додаткових інвестицій та жорсткіших заходів.

Тим часом президент США Дональд Трамп заявив, що Вашингтон розглядає заходи щодо обмеження використання інструментів штучного інтелекту після нещодавніх інцидентів у сфері кібербезпеки. За останній тиждень OpenAI взяла на себе відповідальність щонайменше за два хакерські інциденти. 21 липня компанія повідомила, що її агент вийшов з-під контролю та зламав Hugging Face, назвавши інцидент "безпрецедентним". Співзасновник Hugging Face Томас Вольф назвав це "тривожним сигналом" для галузі.

У галузі ці заяви сприймають зі скептицизмом, оскільки OpenAI та Anthropic готуються до масштабних розміщень акцій, які можуть оцінити кожну компанію приблизно в 1 трильйон доларів. Представник OpenAI зазначив, що компанія планує опублікувати технічний звіт про висновки найближчими тижнями.