{rfName}
In

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

18

Altmetrics

Análisis de autorías institucional

Luna-Jiménez CAutor (correspondencia)Gil-Martin MAutor (correspondencia)Kleinlein R.Autor o CoautorKleinlein RAutor o CoautorSan-Segundo RAutor o CoautorFernández-Martinez FAutor o Coautor

Compartir

Publicaciones
>
Conferencia Publicada

Interpreting Sign Language Recognition using Transformers and MediaPipe Landmarks

Publicado en:Acm International Conference Proceeding Series. 373-377 - 2023-01-01 (), DOI: 10.1145/3577190.3614143

Autores: Luna-Jiménez, C; Gil-Martín, M; Kleinlein, R; San-Segundo, R; Fernández-Martínez, F

Afiliaciones

Univ Politecn Madrid, Grp Tecnol Habla & Aprendizaje Automat THAU Grp, Informat Proc & Telecommun Ctr, ETSI Telecomunicac, Madrid, Spain - Autor o Coautor
Universidad Politécnica de Madrid - Autor o Coautor

Resumen

Sign Language Recognition (SLR) is a challenging task that aims to bridge the communication gap between the deaf and hearing communities. In recent years, deep learning-based approaches have shown promising results in SLR. However, the lack of interpretability remains a significant challenge. In this paper, we seek to understand which hand and pose MediaPipe Landmarks are deemed the most important for prediction as estimated by a Transformer model. We propose to embed a learnable array of parameters into the model that performs an element-wise multiplication of the inputs. This learned array highlights the most informative input features that contributed to solve the recognition task. Resulting in a human-interpretable vector that lets us interpret the model predictions. We evaluate our approach on public datasets called WLASL100 (SRL) and IPNHand (gesture recognition). We believe that the insights gained in this way could be exploited for the development of more efficient SLR pipelines.

Palabras clave

Human-computer interactionInterpretabilityMediapipe landmarksSign language recognitionTransformers

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

Desde una perspectiva relativa, y atendiendo al indicador del impacto normalizado calculado a partir del Field Citation Ratio (FCR) de la fuente Dimensions, arroja un valor de: 3.96, lo que indica que, de manera comparada con trabajos en la misma disciplina y en el mismo año de publicación, lo ubica como trabajo citado por encima de la media. (fuente consultada: Dimensions Jun 2025)

De manera concreta y atendiendo a las diferentes agencias de indexación, el trabajo ha acumulado, hasta la fecha 2025-06-21, el siguiente número de citas:

  • WoS: 4
  • Scopus: 8
  • Google Scholar: 6
  • OpenCitations: 2

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-06-21:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 17.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 17 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 1.85.
  • El número de menciones en la red social X (antes Twitter): 2 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.

Análisis de liderazgo de los autores institucionales

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (LUNA JIMENEZ, CRISTINA) y Último Autor (FERNANDEZ MARTINEZ, FERNANDO).

los autores responsables de establecer las labores de correspondencia han sido LUNA JIMENEZ, CRISTINA y GIL MARTIN, MANUEL.