Новейшие Ray-Bans уже предлагают некоторые ограниченные возможности мета-искусственного интеллекта, такие как возможность сделать снимок с помощью голоса. Но теперь Meta значительно расширяет спектр возможностей своего нового бота: во вторник компания объявила, что тестирует “мультимодальную” функцию искусственного интеллекта, которая может распознавать объекты, видимые через умные очки, слышать запросы и отвечать на соответствующие вопросы о них — от определение продуктов питания для предоставления рекомендаций по стилю. Ключом к такому “раннему доступу” является система камер, установленных в оправе очков и направленных наружу.
В очках Ray-Ban нет мощных процессорных чипов, которые есть, скажем, в последних моделях iPhone и смартфонов Pixel, поэтому они не могут выполнять встроенные вычисления или обработку. Прежде чем очки смогут ответить, Meta AI должен отправить запросы и изображения на серверы компании для обработки.
Это может привести к задержке в несколько секунд, хотя команда инженеров активно работает над сокращением задержки. Когда пользователь произносит вопрос или команду вслух, устройство фиксирует и передает изображения того, что видит человек, на серверы компании, чтобы Meta AI мог понять, на что смотрит пользователь, и дать ответ, соответствующий теме.
Это чем-то напоминает установку Google Lens в пару оправ Echo от Amazon. В демонстрации для WWD очки были направлены на разноцветную крышку с рисунком, и бота попросили: “Эй, Мета, посмотри и скажи мне, что с этим сочетается. ” Meta AI предложила темные брюки, чтобы подчеркнуть принт.
Что касается черных кожаных ботильонов с заклепками, то разработчики рекомендовали сочетать их с джинсами. Но они не могут указать конкретный комплект джинсов или выполнить поиск магазинов, которые продают именно эту обувь, как это может сделать Google Lens.
По крайней мере, пока. “Иногда вы увидите это в сообщении об ошибке, когда вы попробуете это в раннем доступе, вы услышите: ”Извините, я не могу ответить на вопросы о продукте, но я работаю над тем, чтобы в ближайшее время получить эту возможность», — сказал Анант Нараянан, технический директор Meta по умным очкам. Первая мировая война. “Мы знаем, что нам предстоит проделать еще большую работу, чтобы сделать это правильно.
Но пока, на этапе раннего доступа, это более общие вопросы типа ”что хорошо сочетается с этим».» По словам Нараянана, ждать осталось недолго, поскольку в следующем году команда планирует реализовать возможности, ориентированные на продукт. Это никого не должно удивлять.
Meta AI распространяется по всему портфолио устройств компании и социальных сетей, а социальная коммерция в этом году обещает стать бизнесом с оборотом в миллиард долларов. По оценкам Statista, к концу 2023 года мировые продажи через Instagram, Facebook и другие платформы составят примерно 1,3 миллиарда долларов.
В 2024 году этот показатель может еще больше возрасти благодаря недавнему партнерству Meta с Amazon. Гигант электронной коммерции заключает сделки, направленные на более тесную интеграцию своей торговой платформы с социальными сетями. Тем временем у тестировщиков есть множество запросов и команд, которые можно проверить с помощью мета-ИИ. Все начальные фразы—триггеры начинаются одинаково: “Эй, Мета, посмотри и..” — например, “Эй, Мета, посмотри и скажи мне, какие рецепты я могу приготовить из этих ингредиентов” или “Эй, Мета, посмотри и подведи итог этой статье для меня». ” После активации бот запоминает контекст, поэтому он может понимать более короткие последующие команды без необходимости каждый раз повторять “посмотреть”. Он также может отвечать на запросы, когда пользователь указывает на определенное слово или фразу в текстовом документе, меню ресторана или статье WWD, и предлагать языковые переводы на ходу.
В ходе демонстрации бот идентифицировал продукты питания, рекомендовал рецепты, в которых используются определенные ингредиенты, читал меню ресторанов, чтобы выделить острые или вегетарианские блюда, и даже создал юмористическое описание произведений искусства, установленных в лобби по запросу. Некоторые команды работали лучше, чем другие.
В одном случае ИИ Meta перепутал драгонфрукт с гранатом, вероятно, из-за способности бота запоминать контекст. Проблема исчезла, как только история была удалена. Возможность пользователя удалять историю и изображения ИИ является частью заявленного компанией стремления к защите конфиденциальности, что имеет смысл, учитывая давнюю критику в отношении конфиденциальности и юридические сложности, которые преследуют Meta. Это также является приоритетом при разработке ИИ. Нараянан рассказал WWD, что инструмент был разработан на основе данных, специально собранных Meta или отобранных из ее семейства приложений, но в последнем случае только в том случае, если пользователи давали разрешение на использование своих данных таким образом.
Естественно, что в качестве тестовой функции новая функциональность Meta AI не идеальна. Но разработчикам все равно интересно работать за кулисами. Им не терпится увидеть, как тестировщики используют бота, и они анализируют отзывы для улучшения. Этот пользовательский ввод представлен в форме, очень похожей на Facebook, с системой оценок «вверх» или «вниз» для каждого взаимодействия, сохраненной в приложении Meta View.
Meta AI был представлен на выставке Meta Connect в сентябре, и бот распространился на гарнитуру Quest 3, приложения Instagram, WhatsApp и Messenger, а также на новейшие очки Ray-Ban. Попутно Марк Цукерберг, главный исполнительный директор, рассказал общественности о том, что нас ждет.
В октябрьском посте в Instagram “Цукер” восхитился своей новообретенной способностью заплетать волосы дочери, опубликовав видео, в котором говорилось: “Наконец-то научился заплетать косы. Спасибо, Meta AI”. Ранний доступ к этой новейшей функции будет открыт для тестировщиков, отобранных из числа пользователей в США, которые зарегистрируют свой интерес онлайн.
Эндрю “Боз” Босворт, технический директор Meta, поделился новостью в Instagram и других социальных сетях во вторник: “Мы тестируем мультимодальный искусственный интеллект в бета-версии очков Ray-Ban Meta с помощью программы раннего доступа (только для США). Еще рано, но я в восторге от того, что это позволит Meta AI становиться все более полезным, особенно в форм-факторе очков”.
Meta также внедряет эту возможность для пользователей Ray-Ban в США. Чтобы запрашивать у Meta AI информацию в режиме реального времени, используя поисковую систему, частично основанную на Bing. В видеоролике, опубликованном Цукербергом в Instagram, был подчеркнут аспект стиля.
Генеральный директор, предположительно в очках, показал коричневую рубашку в разноцветную полоску и сказал: “Эй, Мета, посмотри и скажи мне, какие брюки надеть с этой рубашкой”. ИИ Meta ответил: “Судя по изображению, это рубашка в полоску. К этой рубашке хорошо подойдут темные застиранные джинсы или однотонные брюки. ”
