Una nueva IA está acaparando la atención del mundo digital. Se trata del asistente de voz desarrollado por Sesame, que destaca por su capacidad para comprender y adaptarse al contexto en tiempo real, ofreciendo una conversación natural con gran riqueza expresiva.
Sesame es una empresa tecnológica encabezada por Brendan Iribe, cofundador y ex director ejecutivo de Oculus VR; Ankit Kumar, ex director de tecnología y cofundador de Ubiquity6; y Ryan Brown, ex director de ingeniería de investigación de Meta Reality Labs.
Desde Sesame, afirman que su filosofía sostiene que el avance de la IA conversacional debe ser un esfuerzo colaborativo. Por lo que, se han comprometido a publicar en código abierto su investigación, favoreciendo la experimentación y el desarrollo. Sus modelos estarán disponibles bajo una licencia Apache 2.0.
At Sesame, we believe in a future where computers are lifelike. Today we are unveiling an early glimpse of our expressive voice technology, highlighting our focus on lifelike interactions and our vision for all-day wearable voice companions. https://t.co/Edp8V8urgC pic.twitter.com/Mc5nWnBJZM — Sesame (@sesame) February 27, 2025
At Sesame, we believe in a future where computers are lifelike. Today we are unveiling an early glimpse of our expressive voice technology, highlighting our focus on lifelike interactions and our vision for all-day wearable voice companions. https://t.co/Edp8V8urgC pic.twitter.com/Mc5nWnBJZM
— Sesame (@sesame) February 27, 2025
Tal y como explican en un comunicado publicado en su página web, el objetivo de Sesame es «lograr la “presencia de voz”, la cualidad mágica que hace que las interacciones habladas se sientan reales, comprendidas y valoradas». Para ello, están desarrollado un Modelo de Habla Conversacional o CSM por sus siglas en inglés (Conversational Speech Model) capaz no solo de procesar solicitudes, sino también de participar en la conversación de forma genuina.
Las cuatro características clave que Sesame contempla para lograr este objetivo son: inteligencia emocional (entender el estado anímico del usuario), dinámica conversacional (pausas, ritmo y énfasis), conciencia contextual (ajustar el tono según la situación) y personalidad consistente (mantener un estilo reconocible).
Así mismo, la compañía reconoce que todavía no han creado el modelo capaz de cumplir con estos requisitos. Eso sí, afirman que se encuentran en el camino correcto para conseguirlo. «Estamos haciendo avances constantes en varios frentes, entre ellos la personalidad, la memoria, la expresividad y la idoneidad. Esta demostración es una muestra de parte de nuestro trabajo en la generación de habla conversacional. Los compañeros que se muestran aquí se han optimizado para que sean amigables y expresivos a fin de ilustrar el potencial de nuestro enfoque».
Estos “compañeros” de los que habla Sesame son las dos voces que la compañía ha desarrollado para su asistente de voz: Maya y Miles. Ambos son capaces de responder preguntas y mantener una conversación fluida empleando un tono natural y manifestando expresividad, gracias a que se han empleado más de 1 millón de horas de audio mayoritariamente en inglés para su entrenamiento.
Por el momento, este Modelo de Habla Conversacional funciona en inglés, aunque puede dar muestras de cierta capacidad multilingüe debido a la contaminación del conjunto de datos con el que se ha entrenado. Sesame tiene la intención de ampliar la compatibilidad de su asistente a más de 20 idiomas en los próximos meses.
Sumado a esto, también pretenden ampliar el tamaño del modelo, aumentar el volumen del conjunto de datos y explorar las formas de emplear modelos de idiomas previamente entrenados, avanzando así hacia modelos multimodales de gran tamaño que presenten un conocimiento amplio tanto del habla como del texto.
Puedes charlar tanto con Maya como con Miles a través de la demo que Sesame ha publicado en su web. Pero, si quieres poder mantener conversaciones de hasta 30 minutos de duración y disfrutar de memoria compartida entre dispositivos, tendrás que registrarte e iniciar sesión.
La calidad de estas charlas, así como la personalidad y capacidad de reacción de Maya y Miles han sorprendido a los usuarios y usuarias, convirtiendo a estos asistentes de voz en un fenómeno viral.
@jaypicksthingsup Having chat with sesame a new AI voice model #sesame #sesameai #ai ♬ original sound – Jaypicksthingsup
Son muchos los creadores y creadoras que han compartido sus experiencias utilizando las IAs de Sesame y reconocido lo impresionantes que resultan (y también un poco el yuyu o impresión que da).
@arkebi Las IAs de Sesame: Maya y Miles #sesame #maya #miles #ia ♬ sonido original – Arkebi Vines
Otra sorprendente novedad de Sesame es el hecho de que la compañía está trabajando en la creación de unas gafas que integren IA que complementarán a su asistente de voz. De acuerdo con lo expresado por la tecnológica, estas gafas estarán diseñadas para «usarse durante todo el día, brindándote audio de alta calidad y acceso conveniente a tu compañero que puede observar el mundo junto a ti».
Cabe recordar que una de las personas al frente de Sesame es Brendan Iribe, cofundador y ex director ejecutivo de Oculus VR, empresa que fue adquirida por Meta y cuya tecnología se empleó para desarrollar las gafas de realidad virtual de la compañía de Mark Zuckerberg.
Foto: GPT4
Your email address will not be published. Required fields are marked *
Δ