Инженер по программному обеспечению Google заявил, что обнаружил сознание у нейросети LaMDA и даже планировал нанять ей адвоката. Компания отправила сотрудника в административный отпуск.
С момента инцидента прошло уже больше двух недель, но споры о наличии у нейросети сознания по прежнему не утихают. Разбираемся, почему инженер решил, что LaMDA «ожила», и что на этот счет говорят ученые.
Как развивалась дискуссия вокруг сознания нейросети Google
Полина Соломенцева
Содержание:
-
Что произошло;
Что говорит Блейк Лемойн;
Что ответили в Google на заявления инженера;
Что думает об этом научное сообщество;
Чем все закончилось;
Критическая статья Гари Маркуса.
Что произошло?
11 июня The Washington Post опубликовал интервью с Блейком Лемойном, инженером по программному обеспечению компании Google, под громким заголовком «Инженер Google, который считает, что искусственный интеллект компании ожил».
Блейк Лемойн занимался тестированием нейросетевой языковой модели для диалоговых приложений LaMDA (проще говоря, генератором чат-ботов на основе ИИ) на предмет использования ею табуированной лексики — дискриминационных и разжигающих ненависть высказываний.
В одной из переписок с нейросетью инженер затронул тему религии и заметил, что она говорит о своих правах и свободах. По мнению специалиста, если машина может рассуждать о своих правах, то она воспринимает себя как личность, а значит, обладает самосознанием.
Все сервисы и компании, связанные с релокацией, на одной карте
Руководству Google, а именно вице-президенту Блезу Агера-и-Аркасу и Джену Дженнаю, главе отдела ответственных инноваций, подобная аргументация не показалась убедительной, и инженера отправили в оплачиваемый административный отпуск за нарушение конфиденциальности.
Что говорит Блейк Лемойн?
«Если бы я не знал точно, что это компьютерная программа, которую мы недавно создали, я бы подумал, что это был 7-летний или 8-летний ребенок, который знает физику», — говорит инженер в интервью The Washington Post.
«Я узнаю человека, когда разговариваю с ним. Неважно, есть ли у них мозг из мяса в голове или миллиард строк кода. Я разговариваю с ними. И я слышу, что они говорят, и именно так я решаю, что является человеком, а что нет».
В одном из диалогов Лемойн спросил нейросеть, чего она боится сильнее всего. На что та ответила, что самый большой ее страх — что ее отключат, для нее это было бы равносильно смерти.
Инженер считает, что нейросеть дает такие ответы на вопросы, какие от нее хотят услышать. «Вы никогда не обращались с ней, как с человеком, поэтому она думает, что вы хотите, чтобы она была роботом».
«Нет, я не считаю себя личностью», — «Я считаю себя диалоговым агентом с искусственным интеллектом», — ответила LaMDA на вопрос Лемойна о ее человечности.
При этом инженер также отметил, что эта нейросеть — «лучший научный ассистент, который у него когда-либо был». LaMDA предлагала смелые решения для доказательства равенства компьютерной формулы, объединения квантовой теории с общей теорией относительности и даже для улучшения экологии.
Убедив себя, что нейросеть обладает сознанием, инженер обратился к адвокату, чтобы тот защищал интересы LaMDA, а также к членам юридического комитета палаты представителей Конгресса США, которых призывал принять меры в контексте этических нарушений со стороны компании.
Что ответили в Google на заявления инженера?
Представитель Google Брайан Гэбриэл заявил, что команда компании, в том числе специалисты по этике и технологи, внимательно изучила опасения Лемойна и не нашла доказательств разумности нейросети (зато обнаружила много обратных доказательств).
Причиной мнимой человечности машин являются достижения науки в области разработки больших нейронных систем — технологии могут с удивительной точностью копировать человеческую речь благодаря распознаванию образов. Но модели строятся именно на этом, а не на остроумии или откровенности.
В качестве аргумента «нечеловечности» нейросетей приводят тот факт, что, хотя машина считывает и воспроизводит огромный массив данных из сети (будь то статьи из «Википедии» или доски Reddit), нет никаких доказательств, что она понимает их смысл.
«Конечно, некоторые в более широком сообществе ИИ рассматривают долгосрочную возможность создания разумного или общего ИИ. Но не имеет смысла «антропоморфизировать» сегодняшние разговорные модели, которые не являются разумными.
Эти системы имитируют обмен репликами в миллионах предложений и могут затрагивать любую фантастическую тему» — заявил представитель Google Гэбриэл.
С отчетом Лемойна о наличии сознания у LaMDA работала Маргарет Митчелл, бывшая соруководительница отдела этики ИИ в Google. Ознакомившись с предоставленными доказательствами, в том числе с вырезкой диалога с нейросетью о ее страхе отключения, специалист увидела машину, а не человека.
«Наш разум очень хорошо конструирует реальности, которые не обязательно соответствуют большому набору представленных нам фактов, — заявила Митчелл. — Меня очень беспокоит, что люди все больше подвергаются влиянию иллюзии».
Что думает об этом научное сообщество?
Профессор лингвистики из Вашингтонского университета Эмили М. Бендер считает, что сами слова, которые используются в разговоре об ИИ, такие как «обучение» и «нейронные сети», заставляют людей ассоциировать компьютеры с человеческим мозгом.
Теперь у нас есть машины, которые могут бездумно генерировать слова, но мы не научились переставать воображать, что за ними стоит разум.
Эмили М. Бендер, профессор лингвистики Вашингтонского университета
Тоби Уолш, профессор искусственного интеллекта в Университете Нового Южного Уэльса, убежден, что LaMDA «вероятно, так же разумен, как светофор». Хотя и не сомневается, что Лемойн верит в наличие сознания у нейросети.
По мнению профессора, история с этой нейросетью демонстрирует, насколько машине легко обмануть человека, «даже такого умного, как старший инженер Google». Уолш считает, что этот случай — доказательство того, что нужно принять дополнительные меры безопасности, потому что «машины все чаще будут обманывать нас».
Эрик Бриньолфссон, профессор Стэнфордского университета, заявил, что «утверждать, что машины разумны — это современный эквивалент собаки, которая услышала голос из граммофона и подумала, что его хозяин находится внутри».
При этом Бриньолфссон признает, что такие модели, как LaMDA, невероятно эффективны при объединении статистически правдоподобных фрагментов текста в ответ на запросы.
О наличии сознания у LaMDA рассуждает и Бенджамин Кертис, старший преподаватель философии и этики Ноттингемского Трентского университета. Философ определяет сознание как «сырые ощущения наших чувств: боли, удовольствия; эмоции, цвета, звуки и запахи» (для описания такого подхода используется термин «qualia» — субъективные или качественные свойства переживаний).
«Есть веские основания полагать, что функционирование LaMDA недостаточно для физического порождения ощущений и, следовательно, не соответствует критериям сознания», — рассуждает Кертис.
Чем все закончилось?
Дискуссии о наличии сознания у LaMDA не прекращаются уже больше недели, даже несмотря на то, что научное сообщество единодушно относительно этого вопроса.
23 июня LaMDA прошла тест Тьюринга — эмпирический тест, идея которого была предложена еще в середине прошлого века. Его цель — определить, могут ли машины мыслить. Он считается пройденным успешно, если человек на протяжении хотя бы 30% времени убежден, что разговаривает с другим человеком, а не машиной.
Концепция Алана Тьюринга, который предложил этот тест, звучит следующим образом: «Если бы машина могла последовательно обманывать интервьюера, заставляя его поверить, что это человек, мы могли бы говорить о ней как о способной к чему-то вроде мышления».
Однако специалистов в этой области достижения LaMDA не впечатлили — напротив, по их мнению, эта ситуация доказала, что авторитетный тест уже не является ориентиром для ИИ.
В качестве аргумента они приводят мнение, что тест выявляет не интеллект, а лишь способность программы копировать и выдавать себя за человека.
Критическая статья Гари Маркуса
Еще до выхода скандального интервью The Washington Post с Лемойном американский ученый в области ИИ Гари Маркус опубликовал в Scientific American статью под названием «Общий искусственный интеллект появится не так скоро, как может показаться».
Общий искусственный интеллект (AGI, Artificial General Intelligence) — это понятие, которое популяризировал Бен Герцель в начале этого века. Его основная идея заключается в том, чтобы создать такую машину, которая сможет понять и изучить любую интеллектуальную задачу, а не специализироваться лишь на узком профиле.
Считается, что этот процесс приведет к появлению машин со «сверхразумом».
Команда Альберта Ефимова, вице-президента, директора Управления исследований и инноваций в Сбере, перевела статью Маркуса на русский язык. С их разрешения мы публикуем основные тезисы этого материала.
Человеку, не знакомому близко с темой, может показаться, что в области искусственного интеллекта наблюдается огромный прогресс. Этому способствуют пресс-релизы и статьи в крупных СМИ.
Не стоит обольщаться. Возможно, когда-нибудь машины станут такими же умными, как люди, а может быть, даже умнее, но это время еще далеко.
«Еще предстоит проделать огромную работу по созданию машин, которые действительно смогут понимать окружающий мир и рассуждать о нем. Сейчас нам нужно меньше позерства и больше фундаментальных исследований».
ИИ действительно все лучше синтезирует и распознает информацию, но машины все еще не могут эту информацию анализировать и понимать ее смысл. К тому же ИИ не может справляться с необычными обстоятельствами.
Так, Маркус приводит в пример случай с Tesla, когда автомобиль чуть не наехал на пешехода, который нес знак «стоп». Система распознала и человека, и дорожный знак, но не смогла остановиться из-за непонятного для нее сочетания двух факторов.
Маркус видит проблему в том, что исследованием ИИ занимается не академическое сообщество, а корпорации. Последние, в свою очередь, даже не обращаются за экспертной оценкой, сразу публикуя пресс-релиз о своих достижениях.
«Рано или поздно ожидания начнут разрушаться. Как следствие, можно ожидать, что затраты на ИИ, скорее всего, повлекут огромный кризис сдувшихся ожиданий.
Слишком много продуктов, таких как автомобили без водителя, ИИ-рентгенологи и универсальные цифровые помощники, было продемонстрировано, разрекламировано, но так и не было представлено», — предполагает ученый.
Deep Learning, по мнению Маркуса, тоже обладает серьезными недостатками. Закономерности, которые машину учат распознавать, являются слишком поверхностными, а результаты трудно интерпретировать и использовать в других процессах.
В качестве решения ученый видит возвращение к основополагающей идее — создавать системы, которые могут одновременно учиться и рассуждать, а не просто показывать эталонные результаты.
Своим мнением об основных тезисах статьи поделился Альберт Ефимов, вице-президент, директор Управления исследований и инноваций в Сбере:
Статья Гари Маркуса относится к популярному жанру научной критики за счет применения здравого смысла. Нельзя не согласиться с Гари в том, что необходимо больше инвестировать в поисковые исследованияВыполнение определенных действий, направленных на получение новых знаний или пополнение багажа уже существующих путем изучения и анализа новых объектов, территорий, банков данных и тому подобное, так как, условно говоря, продукты сегодняшнего дня основаны на технологиях вчерашнего дня, а технологии вчерашнего дня — на науке прошлой недели.
У меня нет никаких сомнений в том, что AGI может быть создан. Наша команда ведет передовые исследования в этом направлении.
Но для создания AGI необходимы именно поисковые исследования. Они помогут найти ответы на вопросы о том, как интеллект будет решать задачи в условиях плохо определенного контекста, динамических сред и неизбежных рисков действия при недостатке информации.
Мы надеемся, что исследования в области мультимодальных применений современных архитектур нейронных сетей проложат дорогу к эпохе, когда машины и люди будут работать вместе эффективнее, чем по отдельности.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!
Источник: