{rfName}
In

Llicència i ús

Altmetrics

Anàlisi d'autories institucional

Luna-Jiménez CAutor (correspondència)Gil-Martin MAutor (correspondència)Kleinlein R.Autor o coautorKleinlein RAutor o coautorSan-Segundo RAutor o coautorFernández-Martinez FAutor o coautor

Compartir

13 denovembre de 2023
Publicacions
>
Conferència publicada
No

Interpreting Sign Language Recognition using Transformers and MediaPipe Landmarks

Publicat a:Acm International Conference Proceeding Series. 373-377 - 2023-01-01 (), DOI: 10.1145/3577190.3614143

Autors: Luna-Jimenez, Cristina; Gil-Martin, Manuel; Kleinlein, Ricardo; San-Segundo, Ruben; Fernandez-Martinez, Fernando

Afiliacions

Univ Politecn Madrid, Grp Tecnol Habla & Aprendizaje Automat THAU Grp, Informat Proc & Telecommun Ctr, ETSI Telecomunicac, Madrid, Spain - Autor o coautor
Universidad Politécnica de Madrid - Autor o coautor

Resum

Sign Language Recognition (SLR) is a challenging task that aims to bridge the communication gap between the deaf and hearing communities. In recent years, deep learning-based approaches have shown promising results in SLR. However, the lack of interpretability remains a significant challenge. In this paper, we seek to understand which hand and pose MediaPipe Landmarks are deemed the most important for prediction as estimated by a Transformer model. We propose to embed a learnable array of parameters into the model that performs an element-wise multiplication of the inputs. This learned array highlights the most informative input features that contributed to solve the recognition task. Resulting in a human-interpretable vector that lets us interpret the model predictions. We evaluate our approach on public datasets called WLASL100 (SRL) and IPNHand (gesture recognition). We believe that the insights gained in this way could be exploited for the development of more efficient SLR pipelines.

Paraules clau

Human-computer interactionInterpretabilityMediapipe landmarksSign language recognitionTransformers

Indicis de qualitat

Impacte bibliomètric. Anàlisi de la contribució i canal de difusió

Des d'una perspectiva relativa, i atenent a l'indicador de impacte normalitzat calculat a partir del Field Citation Ratio (FCR) de la font Dimensions, proporciona un valor de: 4.45, el que indica que, comparat amb treballs en la mateixa disciplina i en el mateix any de publicació, el situa com un treball citat per sobre de la mitjana. (font consultada: Dimensions Jul 2025)

Concretament, i atenent a les diferents agències d'indexació, aquest treball ha acumulat, fins a la data 2025-07-09, el següent nombre de cites:

  • WoS: 4
  • Scopus: 6
  • Google Scholar: 6

Impacte i visibilitat social

Des de la dimensió d'influència o adopció social, i prenent com a base les mètriques associades a les mencions i interaccions proporcionades per agències especialitzades en el càlcul de les denominades "Mètriques Alternatives o Socials", podem destacar a data 2025-07-09:

  • L'ús, des de l'àmbit acadèmic evidenciat per l'indicador de l'agència Altmetric referit com a agregacions realitzades pel gestor bibliogràfic personal Mendeley, ens dona un total de: 15.
  • L'ús d'aquesta aportació en marcadors, bifurcacions de codi, afegits a llistes de favorits per a una lectura recurrent, així com visualitzacions generals, indica que algú està fent servir la publicació com a base del seu treball actual. Això pot ser un indicador destacat de futures cites més formals i acadèmiques. Aquesta afirmació està avalada pel resultat de l'indicador "Capture", que aporta un total de: 18 (PlumX).

Amb una intenció més de divulgació i orientada a audiències més generals, podem observar altres puntuacions més globals com:

  • El Puntuació total de Altmetric: 1.85.
  • El nombre de mencions a la xarxa social X (abans Twitter): 2 (Altmetric).

Anàlisi del lideratge dels autors institucionals

Hi ha un lideratge significatiu, ja que alguns dels autors pertanyents a la institució apareixen com a primer o últim signant, es pot apreciar en el detall: Primer Autor (LUNA JIMENEZ, CRISTINA) i Últim Autor (FERNANDEZ MARTINEZ, FERNANDO).

els autors responsables d'establir les tasques de correspondència han estat LUNA JIMENEZ, CRISTINA i GIL MARTIN, MANUEL.