Тест Тьюринга устарел. Настало время изменить критерии оценки способностей ИИ

Этот год знаменует 70-летнюю годовщину с момента публикации концепции Алана Тьюринга, позволяющей оценить способность машины поддерживать человеческий разговор. Ученый предсказал, что к 2020 году шансы отличить ИИ от человека в игре-имитации, где оценщику будет неизвестен отвечающий, будут менее 70%.

Однако 20 лет спустя эта цель так и не была достигнута. Главный научный специалист компании Amazon Рохит Прасад считает, что этот критерий уже не актуален. Предназначение ИИ изменилось. Теперь его задача — помогать человеку и расширять границы его возможностей.

Тест Тьюринга устарел. Настало время изменить критерии оценки способностей ИИ

Дарья Сидорова

После своего появления тест Тьюринга стал путеводной звездой сферы ИИ. В 1960-х и 1970-х годах были разработаны первые чат-боты ELIZA и PARRY, главной целью которых было пройти этот тест. В 2014 году чат-боту Евгению Густману (Eugene Goostman) удалось справиться с испытанием — 33% судей приняли его за человека. Однако даже в то время некоторые посчитали тест устаревшим, а минимальный порог прохождения в 30% слишком произвольным числом.

Тем не менее эта концепция все еще привлекает внимание общественности. Разработчики языковой модели GPT-3 (Generative Pre-trained Transformer 3) из OpenAI уже заявляют, что она может справиться с тестом. Журналисты и прочие наблюдатели также часто интересуются, будет ли виртуальный помощник Alexa от Amazon проходить это испытание. И хотя это один из способов измерить интеллект системы, актуально ли использовать его сегодня?

Преимущества и недостатки теста Тьюринга

Вернемся к тому времени, когда Тьюринг впервые изложил свою диссертацию. В 1950 году первый коммерческий компьютер еще не был продан, материалы по волоконно-оптическим кабелям будут опубликованы лишь спустя четыре года, а сфера ИИ формально не существовала — это произошло лишь в 1956 году.

У современного смартфона в 100 тысяч раз больше вычислительной мощности, чем у космического корабля «Аполлон-11», который совершил первую посадку на Луну. Кроме того, благодаря облачным технологиям и высокоскоростному подключению сейчас ИИ может принимать решения на основе огромного количества данных в считанные секунды.

И хотя первоначальная концепция Тьюринга по-прежнему остается вдохновляющей, его тест все же ограничен эпохой, в которую он был представлен. На это указывают несколько факторов:

    Он не учитывает одни из самых эффективных функций современных ИИ — высокую скорость вычисления и поиска информации. Чтобы обмануть человека и пройти этот тест, ИИ нужно делать паузы, когда он отвечает на сложные вопросы. Например, «Каков кубический корень из 3434756?» или «Какое расстояние между Сиэтлом и Бостоном?». В действительности ИИ уже знает эти ответы и готов предоставить их мгновенно. Добавление паузы, которая позволить его очеловечить, — не лучший способ применения его возможностей.

    Он ограничен текстом. Тест не учитывает растущую способность ИИ использовать сенсоры, чтобы слышать, видеть и чувствовать внешний мир.

Полезными современные ИИ-системы делает способность эффективно выполнять повседневные задачи. Чтобы выключить свет в гараже, человеку не нужно вести беседу с виртуальным ассистентом. Ему достаточно выполнения запроса и простого уведомления в стиле «Выключаю» или «Готово».

Даже если вы разговариваете с ИИ-помощником на популярные темы или просите его прочитать сказку для ребенка, вы все же хотите знать, что взаимодействуете с машиной, а не с человеком. На деле такой обман представляет собой некоторые риски. Уже сейчас можно наблюдать ботов, рассылающих дезинформацию, и растущее количество deepfake-технологий.

Новые способы измерения способностей ИИ

Вместо того, чтобы стремится к созданию неотличимых от человека ИИ, стоит сосредоточиться на разработке систем, которые расширят границы человеческого интеллекта и улучшат нашу повседневную жизнь, создав равноправную и инклюзивную среду.

Основная цель должна заключаться в создании алгоритма, который объединяет такие человеческие качества, как здравый смысл, самоконтроль и владение языком, с машинной эффективностью — быстрым поиском, воспроизводимостью памяти и выполнением повседневных задач. Это позволит выйти за рамки того, на что способен обычный человек.

Текущие исследования направлены на действительно важные области ИИ:

    понимание с помощью сенсоров;

    поддержание беседы;

    расширение и углубление знаний;

    эффективное обучение;

    мышление для принятия решений;

    устранение любых неуместных предвзятостей и предрассудков, чтобы достичь объективности. 

Развитие этих направлений можно измерить несколькими способами.

    Разбить задачу на несколько составных частей. Например, в Abstraction and Reasoning Challenge от Kaggle ИИ-системы соревнуются в решении задач, с которыми они раньше не сталкивались.
    Разработать крупномасштабную задачу, в которой будут взаимодействовать человек и машина. Среди таких Alexa Prize Socialbot Grand Challenge — соревнование для студентов, посвященное развитию технологий разговорного ИИ. Умные боты должны последовательно и интересно общаться с людьми в течение 20 минут на популярные темы, такие как развлечения, спорт, политика и технологии. Пользователям нужно оценить, насколько бы они хотели пообщаться с ботом снова. В финале независимые судьи присуждают участникам оценку по пятибалльной шкале. Набравшие 4.0 и выше должны выполнить Grand Challenge, однако до этого этапа еще не удалось добраться никому. 

Этот метод стимулирует разработку ИИ, обладающих способностью поддержать разговор с помощью нейронных методов, основанных на глубоком обучении. Они позволяют машине проявлять эмпатию и наделяют ее чувством юмора, при этом не заставляя ее притворяться человеком.

Широкое внедрение виртуальных помощников

Распространение ассистентов в повседневной жизни человека — еще одна возможность изменить прогресс развития ИИ.

В своей основе эти сервисы зависят от человеческих разговорных навыков, которые позволяют выполнять им как простые задачи (постановка будильника), так и сложные (планирование выходных). Однако, чтобы максимизировать их пользу, нужно двигаться к концепции Ambient AI, которая позволит системе отвечать на запросы при необходимости и предугадывать потребности. К примеру, Alexa может определить звук разбивающегося стекла и предупредить об этом. Если вы устанавливаете будильник перед сном, она советует выключить свет в других комнатах.

Помимо прочего, подобные системы также должны охватывать постоянно увеличивающееся количество задач. Это возможно лишь с более обобщенной способностью к обучению. Таким образом, в ближайшее десятилетие и в дальнейшем оценить прогресс в этой сфере поможет уровень практичности ИИ, способных общаться и активно оказывать помощь.

Все эти факты не принижают первоначальное видение Алана Тьюринга. Его концепция была разработана как мыслительный эксперимент, а не высший критерий полезности ИИ. Пришло время оставить тест Тьюринга в прошлом и вдохновиться смелой концепцией его создателя, чтобы ускорить прогресс в создании ИИ-систем, которые будут помогать людям.

Источник.

Источник: rb.ru

Рекомендованные статьи