[Перевод] Хватит слопипасты: манифест

Вы получили уведомление о непрочитанном сообщении

Это может быть сообщение в Slack (или Teams), мессенджере или электронной почте. Может быть, вас тэгнули в Notion или в документе Office.

Вы открываете его и видите множество абзацев текста или, может быть, список со всеми признаками сгенерированного ИИ послания: заголовки, много форматирования, фразы вида «это не X, это Y», обильно присыпанные длинными тире.

Отправивший вам это сообщение человек, вероятно, потратил на него с десяток секунд. Он попросил чат-бота создать текст и просто переслал его ответ вам в полном виде, не проверив и не проанализировав его.

Но теперь вы должны прочитать и проверить эту стену текста, а затем как-то на неё отреагировать. Когда вам отправляют текст, который не интересен даже самому отправителю, он заставляет вас проделать работу, которую не хочется выполнять ему. Такая асимметричность трудозатрат делает ситуацию оскорбительной.

Несколько примеров

Отрицательный пример❌

#strategy

Компания находится в процессе обсуждения обоснованности расширения на рынок Германии.

👤:

Я спросил об этом Claude! Вот, что он ответил:

Расширение на немецкий рынок и обеспечивает новые возможности, и представляет существенные трудности. Германия — самая большая экономика ЕС, обладающая солидной базой потребителей. Однако компаниям следует учесть следующие ключевые факторы:

1. Нормативно-правовое регулирование

В Германии есть строгие нормы, в том числе необходимость соответствия требованиям GDPR, местному трудовому законодательству...

[Дальше идут ещё шесть разделов. Ни в одном из них не упоминается ваша компания, её продукт, бюджет или отсылки к уже происходящему обсуждению.]

Такой ответ перегружает живую дискуссию, его никто не просил и он слишком обобщённый.

Типаж: слишком усердный

Участник беседы хочет внести свой вклад в обсуждение темы, поэтому попросил ответить чат-бот, а потом просто скопировал его ответ. Он делал это с хорошими намерениями, искренне пытаясь помочь, но куча сгенерированного ИИ текста помешала уже ведущемуся обсуждению. Теперь другим участникам нужно скроллить, чтобы продолжить беседу, или остановиться, чтобы прочитать и оценить ответ.

Автору казалось, что отправка сообщения поможет, но оно требует трудозатрат со стороны получателя.

Отрицательный пример ❌

Вы:

Кто-нибудь понимает, почему снизился показатель открытия электронных писем? В прошлом месяце мы поменяли строку темы.

👤:

ChatGPT сказал вот что:

Снижение показателя открытия электронных писем может быть связано со множеством факторов. В том числе с изменениями в стратегии формирования строки темы, снижением репутации отправителя, проблемами с гигиеной рассылки и доставкой. Вот наиболее распространённые причины:

1. Усталость от строки темы

Если строки с темой письма стали слишком однообразными или предсказуемыми, то подписчиков они могут перестать привлекать…

[Ещё пять разделов со стандартной диагностикой открытия писем. В них не упоминается ваше изменение строки темы, ваша аудитория и платформа.]

Такой ответ не относится к конкретному вопросу и слишком стереотипный.

Типаж: ИИ-оракул

Кто-то задаёт конкретный вопрос. Другой человек скидывает его в чат-бота и вставляет сгенерированное в качестве ответа.

«ChatGPT сказал вот что» — это ухудшенный эквивалент LMGTFY (давай я загуглю за тебя) эпохи LLM. В виде ссылки или GIF явление LMGTFY легко игнорировать, и оно чётко даёт понять свой смысл (саркастический комментарий). Слопипаста — это ни то и ни другое. Получателям самим приходится разбираться, сгенерирован ли ответ ИИ, правилен ли он, и какая именно его часть отвечает на вопрос (если он вообще релевантен). Если вы задаёте человеку вопрос, то надеетесь услышать его точку зрения и опыт. В этом смысле, и LMGTFY, и слопипаста — нарушение этикета, при котором отправитель не удостаивает получателя права на простой человеческий ответ.

Отрицательный пример ❌

👤:

Привет, команда, на этой неделе я провёл исследование наших конкурентов. Вот краткое изложение:

Обзор конкурентов

Рынок высококонкурентен, на нём есть множество состоявшихся игроков и появляются новые сложности. Наши ключевые конкуренты делают следующие предложения в различных ценовых категориях…

[Далее следует пятистраничное эссе с небрежными допущениями и отсутствием конкретных подробностей. Никаких дат, никаких источников, никаких актуальных цен.]

Ответ представлен в виде личной работы, возможны сгаллюцинированные подробности.

Типаж: литературный негр

Отправитель выдаёт результаты работы ИИ за свою работу, никак не сообщая о том, что их сгенерировал чат-бот. У получателей нет причин подвергать это сомнению, и они могут начать действовать, исходя из устаревшей, неполной или попросту ошибочной информации.

Использование ИИ в роли литературного негра ставит на кон доверие к отправителю. Если контент окажется ошибочным, это доверие снизится.

Почему это оскорбительно

Отправка сгенерированных ИИ текстов без редактуры похожа на потребление джанк-фуда: вроде бы приятно и хорошо, но это не в ваших истинных интересах. Таким образом вы отрицательно повлияете на свои отношения с получателем, а себе окажете медвежью услугу, снизив уровень собственного понимания.

До LLM письмо требовало усилий. Авторы тратили время и силы на подбор слов; их время и силы были сбалансированы тем трудом, что прикладывала их аудитория при чтении. Из-за LLM этот баланс оказался нарушен; создание текста теперь практически ничего не стоит «автору», но усилия, необходимые для прочтения текста, не изменились. Усиление многословности LLM ещё больше перетягивает одну чашу весов. В некоторых случаях (например, при вставке сырых результатов работы LLM в чат) слопипаста, по сути, становится аналогом саботажа, забивающим настоящую беседу и перекрывающим окно чата.

Письмо — это мышление. Процесс написания текста заставляет автора прорабатывать свои мысли, повышать своё понимание предмета и концентрацию. Многие исследования показали, что делегирование задач LLM увеличивает когнитивный долг. Замена мышления LLM в конечном итоге снижает понимание предмета и его запоминание.

До появления LLM текстам доверяли по умолчанию. Авторы писали их, исходя из собственного опыта и точки зрения, а читатели могли судить о понимании автором предмета на основании целостности их сочинений. LLM генерируют следующий наиболее вероятный токен, при этом основная их цель — быть полезными, что объясняет склонность к галлюцинациям (конфабуляции), а также то, что многие люди считают LLM бредогенераторами. У современных LLM обычно есть инструменты, позволяющие им находить обосновывающую ответ информацию, что снижает вероятность придумывания ими фактов при ответах (но не избавляет от неё полностью). Однако это всё равно не решает проблему доверия; читатель по-прежнему никак не может понять, что отправитель проверял в тексте и проверял ли он его вообще. Следовательно, ответам LLM по умолчанию доверять нельзя; к тому же они усиливают асимметрию трудозатрат, требуя от читателя проверки.

Кроме того, LLM пишут тексты с уверенностью и авторитетностью специалиста. Это добавляет ещё и неопределённость: читатель никак не может оценить истинный уровень опыта отправителя в теме. В результате доверие ещё больше подрывается, потому что голос ИИ уничтожает сигнал, который получатели ранее использовали для того, чтобы отличить опыт от уверенно звучащего слопа.

Раньше главенствовал принцип «доверяй, но проверяй». Читатели доверяли, пока их доверие не оказывалось подорванным; автор был или достоин, или недостоин доверия. Теперь же отправка результатов работы LLM делает цепочку доверия неопределённой. Достаточно ли прилежно автор промпта проверил ответ LLM? Кого винить при обнаружении проблем или ошибок: автора промпта или ИИ? Был ли это недосмотр, пропущенный этап проверки или полное отсутствие проверок? Из-за этой неопределённости получатель не знает, чему он может доверять, что было, а что не было проверено; он вынужден относиться ко всем текстам с недоверием. Как и в сказке «Мальчик, который кричал "Волк!"», после утраты доверия неопределённость распространяется на все будущие сообщения отправителя.

Предпосылка о сбалансированных усилиях и презумпция доверия больше не гарантированы. Слопипаста создаёт нарастающий цикл отрицательной обратной связи, при котором отправитель лишает себя обучения и авторитета, а получатель тратит силы и теряет доверие. Получение сырого вывода ИИ ощущается, как что-то плохое из-за когнитивного диссонанса, вызванного нарушением этих допущений.

Простые советы по улучшению ситуации

Читайте.

Прочтите вывод LLM прежде, чем переслать его. Если вы его не прочитаете, то не будете знать степень его корректности, релевантности и актуальности.

Делегирование работы ИИ создаёт когнитивный долг. Работа с результатами помогает оценивать собственное понимание.

Проверяйте.

Проверяйте факты перед их отправкой. Всё, что вы отправляете, несёт в себе неявное одобрение с вашей стороны — ваша репутация зависит от управления качеством ваших текстов.

LLM обучены «быть полезными», поэтому в ответ на ваши запросы они выдают устаревшие факты, неверные числа и правдоподобную чушь. Кроме того, LLM по сути своей неактуальны: отсечка их знаний в лучшем случае приходится на ту информацию о состоянии мира, которая имелась на момент начала обучения (несколько месяцев назад).

Фильтруйте.

Ограничивайте ответы только тем, что важно. Фильтрация сгенерированного ответа до самой его полезной сути — это ваша задача.

У LLM есть мотивация использовать много слов, даже когда можно быть кратким: модели с оплатой API имеют мотивацию обучать болтливые LLM, тратящие много токенов; к тому же, как показывает исследование, более длинные посты с изощрённым форматированием пользователи часто предпочитают, как более привлекательные.

Признавайтесь.

Рассказывайте, в чём вам помогал ИИ.

Если вы прочитали, проверили и отредактировали текст, то отправляйте его, как свой, но предпочтительно указав, что в работе вам помогал ИИ. Если публикуете сырой вывод, то говорите об этом прямо. В обоих случаях может оказаться полезным показать свой промпт и продемонстрировать, как вы работали с ИИ для получения конечного результата.

Признание позволяет восстановить уничтожаемые слопипастой сигналы доверия и сообщить получателю, что именно вы проверили, а также предупредить его о возможных проблемах.

Отправляйте созданные ИИ тексты только по просьбе.

Никогда не вываливайте в беседу непрошенные результаты работы ИИ.

Помните, что сгенерированные ИИ тексты создают асимметрию трудозатрат, поэтому уважайте тех, с кем вы ими делитесь. Слопипаста делегирует весь труд по чтению, проверке и фильтрации получателю, который не просил об этом и может не осознавать необходимых для этого усилий.

Делитесь в виде ссылки.

Делитесь ИИ-текстами в виде ссылок или приложенного документа, а не скидывайте весь текст.

В средах обмена сообщениями большой объём вставленного текста перекрывает всё окно и вытесняет основную беседу. Ссылка позволит получателю выбирать, когда включиться в обсуждение (и нужно ли это делать).

Возможности ИИ расширяются, и они становятся всё полезнее для составления черновиков, мозгового штурма или ускорения работы. Однако применение ИИ не должно превращать вашу продуктивность в обузу для кого-то ещё. Новые инструменты требуют нового этикета.