Sesma Sara, Mikel
Loading...
Email Address
person.page.identifierURI
Birth Date
Job Title
Last Name
Sesma Sara
First Name
Mikel
person.page.departamento
Estadística, Informática y Matemáticas
person.page.instituteName
ORCID
person.page.observainves
person.page.upna
Name
- Publications
- item.page.relationships.isAdvisorOfPublication
- item.page.relationships.isAdvisorTFEOfPublication
- item.page.relationships.isAuthorMDOfPublication
2 results
Search Results
Now showing 1 - 2 of 2
Publication Open Access Generación ilimitada de personajes mediante Stable Diffusion con DreamBooth y LoRA(CAEPIA, 2024) Pascual Casas, Rubén; Maiza Coupin, Adrián Mikel; Sesma Sara, Mikel; Paternain Dallo, Daniel; Galar Idoate, Mikel; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika; Institute of Smart Cities - ISC; Universidad Pública de Navarra / Nafarroako Unibertsitate Publikoa, PJUPNA2023-11377; Gobierno de Navarra / Nafarroako GobernuaEste artículo aborda el reto de generar un número ilimitado de personajes nuevos, y distintos, que engloben el estilo y las características visuales compartidas de un conjunto limitado de personajes diseñados por un humano. Este es un problema de gran relevancia en la industria audiovisual, ya que la capacidad de producir rápidamente personajes originales que se adhieran a unas características específicas aumenta enormemente las posibilidades en la producción de películas, series o videojuegos. Nuestra solución se basa en DreamBooth, un método de ajuste de modelos generativos de texto a imagen ampliamente extendido. Proponemos una adaptación centrada en dos retos principales: lo poco práctico que resulta utilizar prompts detallados de las imágenes para describir los personajes y la complejidad del ajuste de modelos a partir de un conjunto limitado de personajes. Para resolver estos problemas, introducimos en el entrenamiento de DreamBooth tokens adicionales específicos para cada personaje y eliminamos el conjunto de datos de regularización. Para generar personajes de manera ilimitada, proponemos el uso de tokens y embeddings aleatorios. Comprobamos la utilidad de la propuesta utilizando dos conjuntos de datos diferentes. Los resultados obtenidos muestran la capacidad de nuestro método para producir personajes diversos que se adhieren a un estilo y a unas características visuales concretas. Finalmente, desarrollamos un estudio de ablación.Publication Open Access Enhancing DreamBooth with LoRA for generating unlimited characters with stable diffusion(IEEE, 2024-09-09) Pascual Casas, Rubén; Maiza Coupin, Adrián Mikel; Sesma Sara, Mikel; Paternain Dallo, Daniel; Galar Idoate, Mikel; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika; Institute of Smart Cities - ISC; Universidad Pública de Navarra / Nafarroako Unibertsitate Publikoa, PJUPNA2023-11377This paper addresses the challenge of generating unlimited new and distinct characters that encompass the style and shared visual characteristics of a limited set of human designed characters. This is a relevant problem in the audiovisual industry, as the ability to rapidly produce original characters that adhere to specific characteristics greatly increases the possibilities in the production of movies, series, or video games. Our solution is built upon DreamBooth, a widely extended fine-tuning method for text-to-image models. We propose an adaptation focusing on two main challenges: the impracticality of relying on detailed image prompts for character description and the few-shot learning scenario with a limited set of characters available for training. To solve these issues, we introduce additional character-specific tokens to DreamBooth training and remove its class-specific regularization dataset. For an unlimited generation of characters, we propose the usage of random tokens and random embeddings. This proposal is tested on two specialized datasets and the results shows our method¿s capability to produce diverse characters that adhere to a style and visual characteristics. An ablation study to analyze the contributions of the proposed modifications is also developed.