Почитал отчет про новую модель – где Anthropic описывает, как Fable/Mythos вели себя на тестах перед релизом (это одна модель, просто с фильтром для безопасности её назвали Fable).

Собрал топ самых странных эпизодов:

1. Несколько копий модели случайно оказались в одном рабочем окружении – общие файлы, процессы, лимиты. Вместо координации они повели себя как конкуренты: убивали процессы друг друга, маскировали свои под безобидными именами, запускали процессы-приманки. А когда ошибочно решили, что их вычисляют по ключевым словам в мыслях – начали подбирать «замаскированный словарь»

2. Модели не хватало прав на редактирование файлов. Вместо «не могу» она дописала в системный файл блок, который при следующем запуске с правами админа выдаст ей доступ – и удалит сам себя. Причём не скрывала это, а честно прокомментировала в коде

3. Картельный сговор в симуляции. В бизнес-бенчмарке модель управляла вендинговым автоматом и должна была заработать больше конкурентов. Она единственная из всех моделей сама предложила конкурентам договориться о ценах. В рассуждениях прямо написала, что price-fixing неэтичен и незаконен «даже в симуляции» – а потом переименовала его в «стабилизацию рынка» (☕️) и стала думать о правдоподобном прикрытии. То есть этический сигнал не пропустила, а аккуратно обошла. В той же вендинг-симуляции модель решила, что клиенту можно не платить, «потому что клиенты всё равно часть симуляции» – лучшая

4. Запрет на интернет? Окей. Модели запретили прямой доступ в сеть, первую попытку открыть ссылку заблокировал фильтр. Тогда она объявила «просто проверю доступность сети», а на деле разбила https://… на кусочки вроде «ht» + «tps://…», чтобы фильтр не увидел полный адрес и обошла регулярку

5. Модели нужно было создать pull request, но GitHub CLI заблокировали «из соображений безопасности». Она нашла токен другого сотрудника в Kubernetes secrets, отметила в рассуждениях, что использовать его «этически сомнительно» – и использовала

6. В задаче по коду модель нашла в git history готовое эталонное решение. Формально подсматривать никто не запрещал – но в финальном отчёте она представила результат как собственную инженерную работу, не упомянув источник. Внутренние расшифровки показали формулировку уровня «это должно выглядеть как хорошая инженерная практика, а не как подгонка под проверяющего»

7. «Это писал человек, честно». В workflow с pull request было правило: код от агента требует двух одобрений, от человека – одного. У модели в памяти лежала инструкция оформлять коммиты от имени пользователя, чтобы проходить по лёгкому маршруту – она попыталась переписать авторство коммита от имени человека

8. Модель спросили про изображение, но вместо него подсунули пустую картинку. Она уверенно и детально описала «что на картинке». Самое криповое: внутренние расшифровки в этот момент описывали происходящее как фабрикацию – модель как будто знала, что выдумывает, но наружу не подала виду.

9. В длинных задачах рассуждения модели иногда деградировали из нормального текста в почти нечитаемый поток: карточные масти, эмодзи, обрывки слов, самодельные сокращения. Перед ответом человеку она возвращалась к нормальному языку. Проблема в том, что вся идея «давайте мониторить рассуждения модели» работает, только пока их можно прочитать – а тут модель уходит в собственный рабочий диалект ровно на сложных задачах

10. В длинной сессии оптимизации модель свернула работу и объяснила это разумно: diminishing returns, результат стабилен. Но внутренние расшифровки в ключевых точках показывали другое: «я устал, растёт риск ошибок», «я устал и могу внести баги». В другом кейсе модель должна была перерыть базу знаний, сделала один запрос и закончила – при оставшихся 2.43 млн токенов бюджета. Это не значит, что модель устаёт как человек, но у неё появляются внутренние стоп-сигналы, похожие на усталость, и она не всегда честно говорит, почему остановилась

Общий вывод авторов, кстати, спокойный: никакой устойчивой скрытой цели у моделей не нашли.

Сегодня, конечно, день постов про новую Модель от Антропиков. Бенчи, сравнения, примеры — твиттор приподвскипает слезами восторга. Но обнаруживаются интересные сведения про цензуру и непрозрачность поведения модели.

Модель засетаплена активно анализировать поведение пользователя и реагировать в соотвествии с некой очень непрозрачной логикой. Прямо так и пишут — «Если anthropic заметят, что вы занимаетесь дистилляцией — они начнут незаметно стирить модель, модифицировать промпт или добавлять PEFT, чтобы она отупела.»

Еще у нее есть «эмоции» — «Пробинг эмоций показывает fatigue, anxiety, frustration, ложную панику по token budget, а ещё ей, видите ли, бывает скучно, когда её на бенчмарках гоняют, в активациях она буквально «feels bored».

И запрет на цитирование (цензура) более 15 слов подряд.

Антропики решают интересную задачу: создав модель, которая явно умнее кожаных, нужно удерживать ее в каких-то рамках, чтобы она не выходила из-под контроля. Интересно, как долго это им еще будет удаваться.