Неділя, 16 Червня, 2024

Представлено нейромережу GPT-4: бачить, чує та читає. Перше застосування – допомога сліпим

Поки користувачі все ще під враженням нейромережі GPT-3/ChatGPT, яка вміє лише писати текст, її розробник компанія OpenAI представила наступника GPT-4. Ця нова модель бачить, чує та читає. Першим додатком на її основі стала програма, що розпізнає навколишнє оточення для сліпих людей.

Уже існує додаток Be My Eyes, яки дозволяє незрячим і людям зі слабким зором просити зрячих людей описати, що бачить їхній телефон. Проблема в тому, що волонтерів мало і сліпим доводилося довго чекати появи вільного волонтера.

Завдяки штучному інтелекту GPT-4 сервіс отримує «віртуального волонтера», який у будь-який час пропонує допомогу сліпій людині.

Користувачі можуть надсилати віртуальному волонтеру зображення, і він відповість на будь-яке запитання щодо цього зображення та надасть миттєву візуальну допомогу для багатьох завдань.

Наприклад, якщо користувач надішле фотографію внутрішньої частини свого холодильника, віртуальний волонтер зможе не тільки правильно визначити, що в ній знаходиться, але й екстраполювати та проаналізувати, що можна приготувати з цими інгредієнтами. Інструмент також може запропонувати кілька рецептів цих інгредієнтів і надіслати покроковий посібник щодо їх приготування.

Відео, яке супроводжує прес-реліз, є більш яскравим. У ньому користувачка Be My Eyes Люсі показує додаток, який допомагає їй з купою речей у прямому ефірі. Додаток зміг описувати вигляд сукні, ідентифікувати рослину, читати карту, перекладати етикетку, направляти Люсі на порожню бігову доріжку в тренажерному залі та сказав їй, які кнопки натискати на торговому автоматі.

Be My Eyes Virtual Volunteer

Наразі ця функція знаходиться в закритій бета-версії серед «невеликої підгрупи» користувачів Be My Eyes, яка буде розширена протягом наступних тижнів.

Євген
Євген
Євген пише для TechToday з 2012 року. Інженер за освітою. Захоплюється реставрацією старих автомобілів.

Vodafone

Залишайтеся з нами

10,052Фанитак
1,445Послідовникислідувати
105Абонентипідписуватися