OpenAI представила Realtime API для интеграции голосового AI в приложения и телефонию

Начался OpenAI DevDay. Уже презентовали prompt caching 50% от цены если вы используете тот же промт для вашего приложения , обновления в API, fine-tuning для 4o моделей в том числе видео файнтьюн, так что вы теперь можете построить самоуправляемый велосипед на основе GPT . Самое интересное демо пока что — Realtime API. Фактически это возможность в реальном времени, но задержки, общаться с моделью голосом. На видео несколько впечатляющих демо. Это будет доступно всем разработчикам по цене базовой модели. Добавили нативную дистилляцию моделей: вы можете сделать более маленькую, дешевую специализированную модель под себя. Так же OpenAI запустил свой продукт для эвалов наконец-то! , так что теперь оценивать качество вашего приложения можно будет не по методу пол-палец-потолок, а по уму.

OpenAI выпустила новый API Основные новшества включают Realtime API для голосовых функций через вебсокеты с использованием модели gpt-4o-realtime-preview, а также будущую модель 4o-mini, которая предложит более доступные цены. Также представлен инструмент дистилляции моделей для файн-тюнинга более легких версий, а функция Image fine-tuning позволит интегрировать изображения в настройку GPT-4o. Кроме того, разработаны инструменты для автоматизации тестирования качества моделей Evaluations и кэширования промптов, что поможет снизить затраты на API. AI-помощники теперь могут генерировать системные промпты и json-схемы в Functions calling, что повысит функциональность приложений. ================

Итоги конференции OpenAI DevDay Разработчики смогут интегрировать в свои продукты ИИ для общения без задержек в текстовом и голосовом форматах с помощью Realtime API. С помощью тонкой настройки зрения можно обучать модели распознавать объекты, загрузив всего 100 изображений. Кэширование запросов для API API Prompt Caching сохранит результаты для повторного использования, что снизит время отклика и нагрузку на серверы. Дистилляция моделей API Model Distillation позволит уменьшать крупные модели, сохраняя их производительность на узком круге задач. Новые модели в этом году не ожидаются: релизы o1 и Sora будут позже. ———————————————— - Канал про тренды из мира IT, технологий, нейросетей и бизнеса.

Итоги конференции OpenAI DevDay Разработчики смогут интегрировать в свои продукты ИИ для общения без задержек в текстовом и голосовом форматах с помощью Realtime API. С помощью тонкой настройки зрения можно обучать модели распознавать объекты, загрузив всего 100 изображений. Кэширование запросов для API API Prompt Caching сохранит результаты для повторного использования, что снизит время отклика и нагрузку на серверы. Дистилляция моделей API Model Distillation позволит уменьшать крупные модели, сохраняя их производительность на узком круге задач. Новые модели в этом году не ожидаются: релизы o1 и Sora будут позже.

Забирай эксклюзивное предложение для пользователей Tek.fm *Предложение ограничено

OpenAI представила Realtime API для создания приложений с голосовыми ответами Realtime API позволит разработчикам добавлять в приложения речевые интерфейсы, работающие почти без задержки. В качестве примера на презентации показали приложение для планирования путешествий, которое давало советы о поездке в Лондон. Также Realtime API умеет разговаривать с людьми по телефону, правда для этого нужна интеграция с API звонков, таким как Twilio. Кроме того, разработчики теперь смогут обучать GPT-4o на собственных изображениях. А еще, OpenAI показала как GPT-o1 прямо на презентации написала код для управления дроном. — GPT o1-preview и o1-mini уже доступны в c.aiacademy.me

Стоимость минуты разговора AI и человека для call-центров OpenAI выпустила Realtime API для встраивания голосового AI в сторонние приложения и телефонию, которое сразу назвали убийцей call-центров. И тут же подоспело приблизительное сравнение со стоимостью человеческого общения. Источник