Open Access
Generalizando el pooling maximo por funciones (a, b)-grouping en redes neuronales convolucionales
(CAEPIA, 2024) Rodríguez Martínez, Iosu; Da Cruz Asmus, Tiago; Pereira Dimuro, Graçaliz; Herrera, Francisco; Takáč, Zdenko; Bustince Sola, Humberto; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika; Institute of Smart Cities - ISC; Gobierno de Navarra / Nafarroako Gobernua
Este artículo es un resumen del trabajo publicado en la revista Information Fusion [1]. En este artículo explorábamos el reemplazo del operador de pooling máximo comunmente empleado en redes neuronales convolucionales (CNNs) por funciones (a, b)-grouping. Estas funciones extienden el concepto de función de grouping clásica [2] a un intervalo cerrado [a, b], siguiendo la filosofía de [3]. En el contexto del operador de pooling, estas nuevas funciones ayudan a la optimización de los modelos suavizando los gradientes en el proceso de retropropagación y obteniendo resultados competitivos con métodos más complejos
Open Access
Cuantificar los hechos represivos: explicación y retos de la base de datos del fondo documental de la memoria histórica en Navarra
(2019) Majuelo Gil, Emilio; Mendiola Gonzalo, Fernando; Garmendia Amutxastegi, Gotzon; Piérola Narvarte, Gemma; García Funes, Juan Carlos; Yániz Berrio, Edurne; Pérez Ibarrola, Nerea; Barrenechea Tartas, Edurne; Rodríguez Martínez, Iosu; Sesma Redín, Rubén; Bustince Sola, Humberto; Ciencias Humanas y de la Educación; Giza eta Hezkuntza Zientziak; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika
En este documento se presentan los fundamentos historiográficos y metodológicos de la base de datos del Fondo Documental de la Memoria Histórica en Navarra, desarrollada en la Universidad Pública de Navarra como consecuencia del encargo institucional realizado por el Parlamento y el Gobierno de Navarra. Con este fin, se ha procedido a elaborar una base de datos que permita una ágil consulta por parte de diferentes agentes sociales, institucionales y académicos en torno a la represión franquista, intentando incluir en ella la gran variedad de prácticas represivas que la historiografía ha ido identificando. Primeramente, se presenta un balance sobre la publicación, en los últimos años, de diferentes bases de datos on-line en torno a las víctimas de la guerra civil y la represión franquista en varias comunidades autónomas. A continuación, se presenta la unidad de análisis de nuestra base de datos, “los hechos represivos”, insertándola en el contexto historiográfico en torno a la represión franquista y los estudios sobre la violencia. En un tercer apartado pasamos a describir las diferentes categorías y subcategorías represivas en las que se enmarcan los hechos represivos, y finalmente se presentan algunas características técnicas de la organización interna de la información y el sofware de la base de datos.
Open Access
Modification of information reduction processes in Convolutional Neural Networks
(2024) Rodríguez Martínez, Iosu; Bustince Sola, Humberto; Herrera, Francisco; Takáč, Zdenko; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika
During the last decade, Deep Artificial Neural Networks have established themselves as the state-of-the-art solution for solving complex tasks such as image processing, time-series forecasting, or natural language processing. One of the most studied families of artificial neural network is that of Convolutional Neural Networks (CNNs), which can exploit the local information of data sources such as images by automatically extracting increasingly more complex features in a hierarchical manner. Although plenty of work has been dedicated to the introduction of more complex (or more efficient) model architectures of CNN; to solving the optimisation problems faced by them and accelerating training convergence; or to trying to interpret their inner workings as well as explaining their generated predictions, an important key aspect of these models is sometimes overlooked: that of feature fusion. Feature fusion appears in plenty of forms in CNNs. Feature downsampling is necessary in order to compress the intermediate representations generated by the model, while preserving the most relevant information, a process which also makes models robust to small shifts in the inputs. Combining different sources of data or different feature representations is also a recurrent problem in neural networks, which is usually taken care of by simply allowing the model to learn additional transformations in a supervised manner, increasing its parameter count. In this dissertation, we study the application of solutions of the Information Fusion field to better tackle these problems. In particular, we explore the use of aggregation functions which replace a set of input values by a suitable single representative. We study the most important properties of these functions in the context of CNN feature reduction, and present novel pooling and Global Pooling proposals inspired by our discoveries. We also test the suitability of our proposals for the detection of COVID-19 patients, presenting an end-to-end pipeline which automatically analyses chest x-ray images.
Open Access
Generalización del algoritmo de clúster gravitacional utilizando funciones de overlap
(2018) Rodríguez Martínez, Iosu; Fernández Fernández, Francisco Javier; Escuela Técnica Superior de Ingenieros Industriales y de Telecomunicación; Telekomunikazio eta Industria Ingeniarien Goi Mailako Eskola Teknikoa
El interés en las técnicas de clúster ha sufrido un crecimiento notable a lo largo de los últimos años, especialmente motivado por la necesidad de adquirir conocimiento a partir de enormes cantidades de datos para los cuales, a menudo se conocen poco más que una serie de valores carentes de contexto. Multitud de algoritmos han sido propuestos para resolver este problema. En este caso, nos centraremos en una modificación del algoritmo de clúster gravitacional propuesto por Wright, que utiliza el concepto de función de overlap para mejorar su eficacia. Se analizarán los cambios introducidos y se compararán los resultados con algoritmos tan extendidos como son el K-means o el FCM, con el objetivo de descubrir los puntos fuertes y las carencias de la nueva versión.
Open Access
Affine construction methodology of aggregation functions
(Elsevier, 2020) Roldán López de Hierro, Antonio Francisco; Roldán, Concepción; Bustince Sola, Humberto; Fernández Fernández, Francisco Javier; Rodríguez Martínez, Iosu; Fardoun, Habib; Lafuente López, Julio; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika
Aggregation functions have attracted much attention in recent times because of its potential use in many areas such us data fusion and decision making. In practice, most of the aggregation functions that scientists use in their studies are constructed from very simple (usually affine or polynomial) functions. However, these are distinct in nature. In this paper, we develop a systematic study of these two classes of functions from a common point of view. To do this, we introduce the class of affine aggregation functions, which cover both the aforementioned families and most of examples of aggregation functions that are used in practice, including, by its great applicability, the symmetric case. Our study allows us to characterize when a function constructed from affine or polynomial functions is, in fact, a new aggregation function. We also study when sums or products of this kind of functions are again an aggregation function.
Open Access
A fusion method for multi-valued data
(Elsevier, 2021) Papčo, Martin; Rodríguez Martínez, Iosu; Fumanal Idocin, Javier; Altalhi, A. H.; Bustince Sola, Humberto; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika
In this paper we propose an extension of the notion of deviation-based aggregation function tailored to aggregate multidimensional data. Our objective is both to improve the results obtained by other methods that try to select the best aggregation function for a particular set of data, such as penalty functions, and to reduce the temporal complexity required by such approaches. We discuss how this notion can be defined and present three illustrative examples of the applicability of our new proposal in areas where temporal constraints can be strict, such as image processing, deep learning and decision making, obtaining favourable results in the process.
Open Access
Quantifying repressive acts: explanation and challenges of the documentary archive of historical memory in Navarre
(2019) Majuelo Gil, Emilio; Mendiola Gonzalo, Fernando; Garmendia Amutxastegi, Gotzon; Piérola Narvarte, Gemma; García Funes, Juan Carlos; Yániz Berrio, Edurne; Pérez Ibarrola, Nerea; Barrenechea Tartas, Edurne; Rodríguez Martínez, Iosu; Sesma Redín, Rubén; Bustince Sola, Humberto; Ciencias Humanas y de la Educación; Giza eta Hezkuntza Zientziak; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika
This document presents the historiographical and methodological foundations of the database of the Documentary Archive of Historical Memory in Navarre, which was developed in the Public University of Navarre following a commission from the Parliament and Government of Navarre. For this purpose a database was elaborated on the Francoist repression with the aim of including the great variety of repressive practices that historiography has identified. This database can be swiftly and easily consulted by the different social, institutional and academic agents. In the first place, the present document provides an assessment of the publication in several autonomous communities in recent years of different online databases on the victims of the civil war and the Francoist repression. Next, it introduces the unit of analysis of our database, “repressive acts”, which it inserts in the historiographical context of the Francoist repression and studies on violence. In the third section, a description is given of the different repressive categories and subcategories in which the repressive acts are framed. Finally, it presents some technical characteristics of the database’s internal organization and software.
Open Access
Extensión multidimensional de la integral de Choquet discreta y su aplicación en redes neuronales recurrentes
(Universidad de Málaga, 2021) Ferrero Jaurrieta, Mikel; Rodríguez Martínez, Iosu; Pereira Dimuro, Graçaliz; Fernández Fernández, Francisco Javier; Bustince Sola, Humberto; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika
En este trabajo presentamos una definición de la integral de Choquet discreta n-dimensional, para fusionar datos vectoriales. Como aplicación, utilizamos estas nuevas integrales de Choquet discretas multidimensionales en la fusión de información secuencial en las redes neuronales recurrentes, mejorando los resultados obtenidos mediante el método de agregación tradicional.
Open Access
Reemplazo de la función de pooling de redes neuronales convolucionales por combinaciones lineales de funciones crecientes
(Universidad de Málaga, 2021) Rodríguez Martínez, Iosu; Lafuente López, Julio; Sesma Sara, Mikel; Herrera, Francisco; Ursúa Medrano, Pablo; Bustince Sola, Humberto; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika
Las redes convolucionales llevan a cabo un proceso automatico de extracción y fusión de características mediante el cual obtienen la información más relevante de una imagen dada. El proceso de submuestreo mediante el cual se fusionan características localmente próximas, conocido como ‘pooling’, se lleva a cabo tradicionalmente con funciones sencillas como el máximo o la media aritmética, ignorando otras opciones muy populares en el campo de la teoría de agregaciones. En este trabajo proponemos reemplazar dichas funciones por otra serie de ordenes estadísticos, así como por la integral de Sugeno y una nueva generalización de la misma. Además, basándonos en trabajos que emplean la combinación convexa del máximo y la media, presentamos una nueva capa que permite combinar varias de las nuevas agregaciones, mejorando sus resultados individuales.
Open Access
Generalizing max pooling via (a, b)-grouping functions for convolutional neural networks
(Elsevier, 2023) Rodríguez Martínez, Iosu; Da Cruz Asmus, Tiago; Pereira Dimuro, Graçaliz; Herrera, Francisco; Takáč, Zdenko; Bustince Sola, Humberto; Estadística, Informática y Matemáticas; Estatistika, Informatika eta Matematika; Institute of Smart Cities - ISC; Universidad Pública de Navarra / Nafarroako Unibertsitate Publikoa
Due to their high adaptability to varied settings and effective optimization algorithm, Convolutional Neural Networks (CNNs) have set the state-of-the-art on image processing jobs for the previous decade. CNNs work in a sequential fashion, alternating between extracting significant features from an input image and aggregating these features locally through ‘‘pooling" functions, in order to produce a more compact representation. Functions like the arithmetic mean or, more typically, the maximum are commonly used to perform this downsampling operation. Despite the fact that many studies have been devoted to the development of alternative pooling algorithms, in practice, ‘‘max-pooling" still equals or exceeds most of these possibilities, and has become the standard for CNN construction. In this paper we focus on the properties that make the maximum such an efficient solution in the context of CNN feature downsampling and propose its replacement by grouping functions, a family of functions that share those desirable properties. In order to adapt these functions to the context of CNNs, we present (𝑎, 𝑏)- grouping functions, an extension of grouping functions to work with real valued data. We present different construction methods for (𝑎, 𝑏)-grouping functions, and demonstrate their empirical applicability for replacing max-pooling by using them to replace the pooling function of many well-known CNN architectures, finding promising results.