Proceso de diseño y UX de iSpeakVR: aprender idiomas de manera inmersiva

Intro

Pese a ser ficticio, se han utilizado todas los herramientas y pasos necesarios tanto desde el punto de vista del UX como de la gestión de equipos, proyectos, protitipado, desarrollo… para la creación de una aplicación VR profesional que hemos ido aprendiendo y poniendo en práctica durante el curso.

Let’s start!

Con respecto al VR actualmente el público está a la expectativa no sólo de dispositivos más accesibles, si no de un contenido de calidad, que aporte valor.

De esta combinación surge el proyecto iSpeakVR una aplicación VR que busca ayudar a aprender idiomas utilizando la inteligencia artificial, el storytelling y la gamificación, con la voz como única herramienta de interacción.

Nuestro equipo sería el encargado de validar esta idea y desarrollar un prototipo en base a un pequeño briefing, explicando todo el proceso de desarrollo.

Un proceso vivo

Debido a los objetivos y limitaciones del curso la idea era llegar hasta el punto 5 generación de assets y prototipado.

El desarrollo de aplicaciones VR sigue un modelo tipo technology push.Básicamente se trata de tomar una tecnología y aplicarla a diferentes áreas para entender el valor que aporta y ver su potencial. Esto sumado a los continuos cambios (nuevas olas) que se producen cada 6 meses hace que los procesos de diseño estén vivos. Por lo que fuimos conscientes desde el principio que para aplicar metodologías de diseño previas había que hacerlo con flexibilidad.

UX al principio de todo proceso

Al proceso le añadis un paso de investigación y validación.

El primer cambio que realizamos fue el ampliar el proceso con etapas previas de investigación y exploración. Para luego pasar a la ideación, prototipado y testeo. Siempre teniendo en cuenta que muchos de los procesos podían solaparse y realizarse en paralelo.

El proyecto debido a limitaciones de tiempo y recursos, se planteó que llegase hasta la fase de prototipado y testeo.

Herramientas y metodología

Herramientas

Todas las herramientas son gratuítas con algunas limitaciones.
  • Google Drive: para la creación, organización y acceso de los archivos. Algunos ejercicios se realizaron en dinámicas presenciales con papel, rotuladores y post-it pero luego fueron trasladados a un documento online utilizando las herramientas que incluye Google Drive.
  • Slack: para la comunicación entre el equipo y los profesores.
  • Trello: para la gestión de las tareas.
  • Unity: para el prototipado de la aplicación VR

Metodología

  • Investigación y exploración: para validar el briefing, hacernos preguntas y entender las necesidades de los usuarios.
  • Ideación: búsqueda de ideas y creación de soluciones.
  • Prototipado y testeo: creación de prototipo semi funcional con el que probarlo con usuarios.

Nota: aunque parezca que todo el proceso ha sido lineal no ha sido así. Algunos procesos se han hecho en paralelo. Cada proyecto tenía unas características únicas que encajaban mejor o peor con el calendario de las clases.

Primeros pasos: validar el briefing

  • Interacción por voz exclusivamente. Con Inteligencia artificial. Para la gestión y comprensión del lenguaje natural y los comportamientos.
  • Storytelling. Es decir, contar una historia.
  • Gamificación. Utilizar las mecánicas de los juegos para aumentar el engagement.
  • Público objetivo. De 8 a 18 años.

Como se puede ver los requerimientos hacen del proyecto algo muy completo. Narrativa, juego, inteligencia artificial y aprendizaje de idiomas. La investigación se centró en entender si estos requerimientos mejorarían la experiencia de aprender idiomas y en caso de ser válidos, entender cómo deberían trabajarse para extraer de ellos el máximo valor.

Entender el entorno

Mapeo de los actores principales entorno al VR y el aprendizaje de idomas.

Gracias a un rápido stakeholders map pudimos crear una conversación que nos hizo ver que había más actores y lugares. Y sobretodo la dinámica entre estos actores.

Público infantil

  • ¿Quién decide la compra del Cola-Cao? ¿Los padres o el hijo?Nos dimos cuenta que los padres deciden que en casa se toma cacao con leche, pero la elección de si es Cola-Cao o Nesquik la hacen los niños.

Esto nos ayudó a enfocar la investigación en los padres y de cómo estos quieren que sus hijos aprendan idiomas. Buscar formas de hacerles ver a los niños y padres el valor de nuestra aplicación gracias a estar en los puntos de contacto donde ahora se ofrecen experiencias de VR. Además nos dimos cuenta que las escuelas de idiomas también eran un mercado potencial para la aplicación.

Poco a poco íbamos acumulando hipótesis que validar con la investigación.

Edades recomendadas para el uso de VR

PlayStation VR explica que no es para uso de niños menores de 12 años. Por su parte Oculus Rift no recomienda su uso para menores de 13 años.

Esto nos condujo a reducir el público objetivo desde los 12 a los 18 años. En lugar de los 8 a 18 planteados en el briefing. El impacto que tiene este cambio es importante ya que el rango de edad era muy amplio (niños a adultos) y complicaba bastante el ofrecer una experiencia común de storytelling y gamificación que se adaptara bien a todos los públicos. Ahora era más sencillo.

Exploración

  • Profesor de idiomas
  • Madre con hijos estudiando inglés

Con el profesor queríamos descubrir qué retos se encontraban a la hora de enseñar idiomas a nuestro rango de edad. También qué métodos, dinámicas y ejercicios eran los más adecuados. Por último su relación con las tecnologías.

Los padres están muy preocupados porque sus hijos aprendan idiomas. Esto les produce bastante estrés.

Por otro lado la madre nos ayudaría a entender qué problemas y puntos de vista encuentra actualmente a la hora de enseñar a sus hijos idiomas.

Resultados de las entrevistas

  • Que existe una necesidad de fomentar la atención y el interés para las clases. Algo que es muy complicado por la variedad de los alumnos y el interés cambiante.
  • Que los elementos interactivos funcionan muy bien como complemento de refuerzo y para mantener el interés
  • Que se aprende por repetición
  • Que el escuchar y hablar son las partes más complicadas de aprender

Desde el punto de vista de los padres descubrimos que:

  • El aprender idiomas es un esfuerzo de tiempo y dinero para los padres que causa estrés
  • Que están dispuestos a hacer el esfuerzo si se les aseguran resultados
  • Que es muy difícil que los niños tengan interés por ir a clases
  • Ven la tecnología como un complemento al método tradicional

Primeras conclusiones

La profunda inmersión y el efecto wow! ayudados de una buena historia gamificada podría ser la solución a la necesidad de mantener la atención y el interés. También que la interacción con voz reforzaría uno de los aspectos más complicados a la hora de aprender un nuevo idioma: el escuchar y el hablar.

Sin embargo aún había ciertos aspectos en los que teníamos que conocer. Pero ya estábamos preparados para tener a nuestro primer usuario imaginario.

Persona-jes

El personaje responde a un cliché (el listo, el tonto, etc.) aunque son igual de falsos que las personas, son estereotipos estandarizados que nos ayudan a respaldar las decisiones de una manera más sólida y emocional.

El personaje tenía que responder a 4 premisas:

  1. Por qué se acercaría al VR
  2. Tres cosas que lo definan
  3. Por qué usarían nuestro producto
  4. Qué les haría odiarlo

Personaje: Milhouse

Milhouse nos acompañaría durante todo el proceso como soporte empático.

Ver el archivo con el persona-je en Google Drive

Conclusiones

  • Lo usaría por recomendación de sus padres o profesores
  • Lo usaría con miedo
  • Es muy sensible a mareos y agobios
  • Lo haría para divertirse
  • Dejaría de usarlo si no tiene aprobación social (sus amigos piensan que es estúpido)

Entender la experiencia del VR

Para ello utilizamos 3 herramientas:

  • Diario: donde un usuario iba describiendo en un documento su experiencia desde que decide buscar alternativas a las clases de inglés tradicionales hasta que prueba con sus hijos una aplicación de aprendizaje de idiomas en VR.

Ver el documento Diario en Google Drive

En base a los datos del diario creamos:

  • Mapa de empatía
  • User Journey map

Ver el documento de Mapa de empatía en Google Drive

Ver el documento User Journey Map en Google Drive

Ideas y conclusiones

  • El usuario está muy abierto a probar nuevos métodos de aprendizaje en base a una nueva tecnología.
  • Elegir un modelo de gafas ante tanta variedad, opciones y requerimientos es una gran molestia.
  • Hay poca familiaridad con su uso. Además hay cosas que mejorar de la experiencia. Colocar el teléfono, conexiones Bluetooth para el mando, salirse por error, sacar teléfono, volver a ponerlo, navegación, fallos de micro y voz…
  • La experiencia con las niñas es un éxito. Les encanta. El efecto WOW es inmediato. Entienden rápidamente los controles incluso con el mando.
  • Hay que ofrecer experiencias que indiquen que se está sentado o quieto, ya que los niños creen que pueden caminar olvidando el mundo real.
  • Dignidad. En casa se toma con humor que otras personas te oigan pronunciar palabras extrañas en otro idioma mientras estás con el visor.
  • Estamos limitados a que ciertos aspectos de la tecnología mejoren. Visores independientes a precios accesibles por ejemplo. Los actuales son económicos pero requieren de un teléfono de alta gama.
  • Peligro de juicios demasiado rápidos. Una mala experiencia hace pensar que esto es muy difícil, no funciona, etc. por lo que se descarta el producto inmediatamente.

Benchmark

Ver el documento Benchmark en Google Drive

Ideas y conclusiones del benchmark

La usabilidad es una tarea pendiente en las aplicaciones VR de idiomas.

En VR las experiencias están verdes en muchos aspectos ya que aún no se han desarrollado sistemas de interacción validados, buenas prácticas… se sigue más un modelo de prueba-error. También su contenido es más reducido sospechamos que es porque una aplicación requiere de muchos recursos para funcionar por lo que las experiencias tienden a ser más cortas.

En general lo que entendimos con este proceso es que las aplicaciones se enfocan en base a dos objetivos:

  • Como introducción a un idioma
  • Como refuerzo a uno que ya se conoce

La metodología de aprendizaje

  • Lecciones cortas pero constantes. Es decir, conseguir que la utilicen 5 a 10 minutos pero todos los días.
  • La gamificación es imprescindible. Generalmente con un sistema PBL (points, badges and leaderboards). También utilizan los mini retos.
  • Se basan mucho en el feedback.
  • Siguen un modelo del tipo ayuda progresiva. Tras cada error se van dando ayudas, tips, etc.

Las interacciones

  • Procuran reducir al máximo la introducción de texto.
  • Los ejercicios de escucha y pronunciación son opcionales o de pago.
  • Son tolerantes con las inexactitudes pequeñas.
  • Cuando se ofrecen personajes 3D realistas hay cierto efecto de uncanny valley

La interacción por voz

  • El usuario está bloqueado en tu conversación, no puede hacer otra cosa que hablar con el personaje.
  • La conversación aunque es tipo comandos, tiene cierta flexibilidad. Esto varía dependiendo de la inteligencia de la aplicación.
  • En general no sabes qué puedes hacer con la voz: qué hablar, preguntar, etc.

Puntos importantes

  • La interacción por voz es un problema y un reto. Tanto desde el apartado de experiencia de usuario “estar en un lugar donde poder hablar o escuchar” hasta los aspectos técnicos: la aplicación no recibe bien el audio o no lo entiende, requiere de varios segundos para procesarlo…
  • La usabilidad tiene que mejorarse. Esto es exclusivo de la VR. Los caminos son rígidos y no se pueden deshacer. Inexistencia de navegación u oculta, salir, pausar, opciones, dónde estoy… es un caos.
  • Las experiencias VR tienen una gamificación muy básica o inexistente.

La tecnología adecuada

La pregunta fue:

¿Qué tecnología nos ayudaría a crear la experiencia que queremos accediendo a un público mayor?

No fue muy complicado decidir que el soporte elegido fue Gear VR tipo Daydream y Samsung Gear VR en base a un teléfono de alta gama. Con el ojo puesto a corto a plazo (menos de 4 meses) a sistemas standalone (sin teléfono) como Oculus Go.

Los dispositivos standalone funcionan sin cables lo que ofrece una experiencia más cómoda.

Este sistema aunque ofrece experiencias más reducidas y de menor calidad pero sus requisitos de adopción son más sencillos.

  • Es standalone, no requiere cables. Ni depende de un ordenador de alta potencia.
  • Es más económico.
  • Tienen un mando que ayuda mucha a la interacción.

Fortalezas y debilidades

El requerimiento de inteligencia artificial era un reto importante

Dentro de nuestras fortalezas destacan:

  • Tecnología novedosa
  • Una experiencia muy inmersiva
  • Gamificación
  • Narrativa
  • Usabilidad e interacciones

Por otra lado nuestras debilidades:

  • Límites técnicos en cuanto a calidad de la experiencia
  • Los requisitos de la interacción por voz son muy exigentes
  • Necesidad de una inteligencia artificial
  • Falta de experiencia en la enseñanza de idiomas

Ideación

Agrupación

  • Aprendizaje
  • Tecnología
  • Interacción
  • Personal

Emoción

  • Odio
  • Tristeza
  • Neutro
  • Feliz
  • Amor

¿Cómo podríamos?

Ver el documento ¿Cómo podríamos? en Google Drive

Lo hicimos bajo dos premisas:

  • Queríamos generar una conversación de valor
  • Las soluciones se someterán a votación tipo Scrum

Soluciones generales

  • Enfocar el producto desde una perspectiva de refuerzo para aprender un idioma
  • Ofrecer una narrativa gamificada abierta con diferentes caminos en base a la calidad
  • Creación del usuario único para su posterior seguimiento, evaluación y feedback de su aprendizaje
  • Gamificación con funciones sociales
  • Necesidad de testear con un nivel de usabilidad al detalle ya que el usuario es muy nuevo a la tecnología VR y su frustración produce un abandono rápido y una condena de por vida
  • Ofrecer alternativas (fallbacks) a un más que probable fallo a la tecnología de interacción por voz y la inteligencia artificial

Selección de soluciones

Prioridades

  • La narrativa
  • Usabilidad
  • Sistema gamificado básico
  • Las interacciones

Estas serían nuestras prioridades.

Deseables

Lo menos viable para el prototipo sería:

  • Interacción por voz
  • Inteligencia artificial
  • Diferentes niveles y número de ejercicios
  • Funciones sociales

Definición

Guión y narrativa

Desde el punto de vista de la narrativa y el aprendizaje sabíamos que era importante tener en cuenta varios aspectos:

  • Héroe. Involucrar al usuario
  • Misión. Darle una razón para completar los retos
  • Mi mundo. Hablar de su realidad, de cosas que le importan
  • Potenciar. Motivar la fantasía dentro de lo cotidiano

Nuestra historia

Conceptualmente son una serie de acciones, retos a superar y experiencias que conducen al personaje de la niñez a la madurez. La idea principal es que pierda el miedo escénico a hablar en otro idioma mientras lo aprende y practica.

Ejercicios de idiomas

  • Onboarding: utilizado para introducir la historia, los personajes y las circunstancias. También sitúa al usuario en un lugar seguro desde donde familiarizarse con la experiencia y los controles.
  • Escenario 1: listening and comprehension. Planteamiento del reto.
  • Escenario 2: speaking and reading. Desarrollo.
  • Escenario 3: speaking and comprehension. Solución.

En cada escenario deberás cumplir una serie de objetivos correctamente.

Pero si no consigues superar las pruebas, pasado un tiempo, avanzarás en la historia, en beneficio de la “inmersión”.

Al final de cada aventura, recibirás una explicación detallada de tus logros y de los puntos a mejorar en futuras aventuras.

Una vez completados todos los escenarios (mundos) del juego, se podría hacer una última prueba de nivel para ver la evolución.

Esta sería la estructura básica para todas las aventuras.

Escenarios

Ejemplo de escenario para el nivel de la taberna

Los escenarios se desarrollan en base a un centro donde está el usuario y un mundo a su alrededor situados a ciertas distancias que explican su naturaleza. La distancia y colocación indican su importancia ya que los movimientos del usuario están limitados.

Se buscarían experiencias que sugieren al usuario que está sentado. Esto ayudará a poder jugarla desde una silla sin tener que girar o moverte mucho. Lo que evitaría también posibles mareos.

Gamificación

  • Mecánicas
  • Jugabilidad
  • Flujos
  • Modos de juego
  • Premios y castigos
  • Personajes
  • Control del jugador
  • Interfaz
  • Arte
  • Sonido
  • etc.

Ver el documento de diseño de juego en Google Drive

Concept art

La calidad del pixel no está reñinada con la narrativa. Imagen perteneciente a Minecraft.

Por lo que optamos por una estética low poly, donde las mallas 3D tienen pocos polígonos. Perdíamos detalle, pero ganábamos en rendimiento. También la estética low poly nos ayuda a que las historias sean más expresivas y complejas, ya que no hay sobresaturación de estímulos: visuales, narrativos, etc. Esto se explica muy bien en el libro de Scott McCloud Understanding comics.

Interacciones

Se basa personajes que al hacer click sobre ellos comienzan a hablarnos y contarnos una historia. Se nos indicará que los elementos son clicables:

  • cambio de color y luminosidad
  • sonido
  • movimiento

Dentro de esa conversación pueden pedir que les respondamos a alguna pregunta (planteamiento del ejercicio de idioma).

Boceto de interacción con un personaje con el que podemos conversar.

En caso de no poder resolver el reto a través del habla se añadirán nuevas capas de soporte e interacción por texto.

Storyboard

PRD

En nuestro caso, sería un proyecto largo en el tiempo (2 años), con requisitos técnicos amplios. Básicamente es un videojuego en realidad virtual con inteligencia artificial con el que se aprenden idiomas. Aunque hay mil factores a tener en cuenta debido al amplio abanico de profesionales, consultores y colaboradores necesarios.

Prototipado

Modelado 3D y audio

La asset store de Unity contiene una gran cantidad de elementos predefinidos para poder realizar un prototipado rápido.

Esto también se aplicaría a la biblioteca de sonidos.

Inteligencia artificial

Ejemplo de interacción en base a dialog tree

Sin embargo nos dimos cuenta en los test de usario y el benchmark que la experiencia que producen es muy límitado ya que al final funcionan como una base de comandos.

Por lo que decimos introducir en el prototipo la SDK de inteligencia artificial de IBM Watson en base a conversaciones de audio y texto. Sería más complicado pero el resultado sería más natural y la experiencia más flexible.

UX: arquitectura

Ver el documento con el flow de pantallas en Google Drive

La idea es que antes de entrar en la experiencia VR tienes que logearte bajo un sistema clásico de aplicación web con:

  • Registro y Login de usuarios
  • Dashboard

Este aspecto se solucionó de una manera clásica al no haber un solución de calidad para VR a la hora de introducir textos y teclados. No queríamos que la primera interacción con la experiencia fuese un teclado VR.

Demo

Los elementos interactivos al pasar sobre ellos cambian de color.

El casco es el inicio de la experiencia. Gracias a su colocación podremos conversar, interactuar e ir a las diferentes aventuras.

Interacción por voz

La retícula funciona como sorporte en caso de que el habla falle.

La interacción por voz utiliza la inteligencia artificial de IBM Watson. Se inicia al interactuar con los iconos de micrófono junto al personaje. Pu

Ayudas de texto

La idea es que las primeras interacciones con los personajes nos lleven a acciones que en realidad sirvan como tutorial de la aplicación.

Escenarios

Equipo y agradecimientos

En el equipo de iSpeakVR han trabajado:

Rafael Cobo
Álvaro Millán
Alvaro Bonilla
Elías Mas
Raúl Redondo

--

--

Product designer. Curious by nature. Animal lover. Travel lover.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store