Apple анонсировала новый API для Siri, позволяющий считывать экранный контент в приложениях

Apple выпустила API, который позволяет Siri и Apple Intelligence считывать данные экранного контента в приложениях Когда пользователь задает вопрос о экранном контенте или хочет выполнить действие с ним, Siri и Apple Intelligence могут считать контент, чтобы ответить на вопрос и выполнить действие. Если пользователь явно запрашивает это, Siri и Apple Intelligence могут отправлять контент в поддерживаемые сторонние службы. Например, кто-то может просмотреть веб-сайт и использовать Siri для предоставления краткой сводки, сказав или набрав фразу типа «Привет, Siri, о чем этот документ?». Apple #новости

Siri и Apple Intelligence теперь могут просматривать контент и отправлять его сторонним службам Вчера Apple выпустила вторую сборку iOS 18.2, основным нововведением которой стало появление API App Intent. Это алгоритм, который позволяет встроенному искусственному интеллекту просматривать пользовательский контент. В документации к свежему обновлению Apple указывает, что теперь Siri и Apple Intelligence могут считывать экранный контент в приложениях, чтобы выполнить какое-либо действие. Читать далее

Ваш iPhone станет умнее: Siri научилась «читать» экран и отправлять данные ChatGPT! Apple на шаг приблизила будущее: голосовой помощник Siri теперь сможет просматривать содержимое экрана на iPhone и взаимодействовать с ним! Благодаря новому API под названием App Intent, Siri можно попросить ответить на вопросы. Например, спросить, что изображено на фото или о чем эта статья. Ассистент увидит контент на экране и сможет отправить его в ChatGPT. Эта функция уже доступна во второй бета-версии iOS 18.2 и будет в стабильной версии, выход которой ожидается в декабре. С ее помощью Siri сможет «видеть» текст, изображения и другие данные на экране iPhone, анализировать их и, при запросе пользователя, пересылать нужные данные в другие приложения для более сложной обработки. Пока что эта функция доступна только на английском языке и не работает в России, но Apple уже предоставила API разработчикам, чтобы те могли подготовить свои приложения к официальному релизу iOS 18.2. Что думаете об этой функции? Это круто или только добавляет мыслей про слежку за пользователями?

Заплати рублями за получение карты от Газпромбанк ❤️ Оформи бесплатную дебетовую карту от Газпромбанка через нас и мы переведем тебе вознаграждение

Siri сможет считывать содержимое экрана в сторонних приложениях после установки iOS 18.2 Apple представила новый API в iOS 18.2, позволяющий разработчикам интегрировать функцию считывания содержимого экрана в Siri и Apple Intelligence. Это позволит Siri распознавать и взаимодействовать с контентом, отображаемым на экране, например, предоставлять сводки документов или выполнять действия по запросу пользователя. В iOS 18.2 интеграция ChatGPT с Siri уже позволяет задавать вопросы о фотографиях и документах и получать информацию о них.