{rfName}
A

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

4

Altmetrics

Grant support

The work leading to these results was supported by the ASTOUND project (101071191 HORIZON-EIC-2021-PATHFINDERCHALLENGES-01) funded by the European Commission. In addition, the Spanish Ministry of Science and Innovation through the projects AMIC-PoC, BeWord, GOMINOLA (PDC2021-120846-C42, PID2021-126061OB-C43, PID2020-118112RB-C21/AEI/10.13039/501100011033 and PID2020-118112RB-C22/AEI/10.13039/501100011033, funded by MCIN/AEI/10.13039/501100011033, and by the European Union "NextGenerationEU/PRTR"). We also want to give thanks to MS Azure OpenAI access (especially to Irving Kwong) for their sponsorship to generate and evaluate the dialogues with OpenAI models.DAS:The custom code used for creating the dataset is available online: https://github.com/eic-astound-ai-project/artGenEvalPlatform.

Impacto en los Objetivos de Desarrollo Sostenible (ODS)

Análisis de autorías institucional

Gil-Martin, ManuelAutor (correspondencia)Luna-Jimenez, CristinaAutor o CoautorEsteban-Romero, SergioAutor o CoautorEstecha-Garitagoitia, MarcosAutor o CoautorFernandez-Martinez, FernandoAutor o CoautorD'Haro, Luis FernandoAutor o Coautor

Compartir

11 de agosto de 2024
Publicaciones
>
Artículo
Sí

A dataset of synthetic art dialogues with ChatGPT

Publicado en:Scientific Data. 11 (1): 825- - 2024-07-27 11(1), DOI: 10.1038/s41597-024-03661-x

Autores: Gil-Martin, Manuel; Luna-Jimenez, Cristina; Esteban-Romero, Sergio; Estecha-Garitagoitia, Marcos; Fernandez-Martinez, Fernando; D'Haro, Luis Fernando

Afiliaciones

Univ Politecn Madrid, Informat Proc & Telecommun Ctr, Speech Technol & Machine Learning Grp THAU Grp, ETSI Telecomunicac, Madrid 28040, Spain - Autor o Coautor

Resumen

This paper introduces Art_GenEvalGPT, a novel dataset of synthetic dialogues centered on art generated through ChatGPT. Unlike existing datasets focused on conventional art-related tasks, Art_GenEvalGPT delves into nuanced conversations about art, encompassing a wide variety of artworks, artists, and genres, and incorporating emotional interventions, integrating speakers' subjective opinions and different roles for the conversational agents (e.g., teacher-student, expert guide, anthropic behavior or handling toxic users). Generation and evaluation stages of GenEvalGPT platform are used to create the dataset, which includes 13,870 synthetic dialogues, covering 799 distinct artworks, 378 different artists, and 26 art styles. Automatic and manual assessment proof the high quality of the synthetic dialogues generated. For the profile recovery, promising lexical and semantic metrics for objective and factual attributes are offered. For subjective attributes, the evaluation for detecting emotions or subjectivity in the interventions achieves 92% of accuracy using LLM-self assessment metrics.

Palabras clave

Quality education

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Scientific Data debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia WoS (JCR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2024 aún no existen indicios calculados, pero en 2023, se encontraba en la posición 15/135, consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Multidisciplinary Sciences.

2025-10-23:

  • WoS: 1
  • Scopus: 1

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-10-23:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 16.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 19 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 0.5.
  • El número de menciones en la red social X (antes Twitter): 1 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.
  • Asignación de un Handle/URN como identificador dentro del Depósito en el Repositorio Institucional: https://oa.upm.es/82985/

Como resultado de la publicación del trabajo en el repositorio institucional, se han obtenido datos estadísticos de uso que reflejan su impacto. En términos de difusión, podemos afirmar que, hasta la fecha

  • Visualizaciones: 138
  • Descargas: 33
Siguiendo con el impacto social del trabajo, es importante enfatizar el hecho de que, por su contenido, puede ser asignado a la línea de interés del ODS 4 - Quality Education, con una probabilidad del 82% según el algoritmo mBERT desarrollado por Aurora University.

Análisis de liderazgo de los autores institucionales

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (GIL MARTIN, MANUEL) y Último Autor (D'HARO ENRIQUEZ, LUIS FERNANDO).

el autor responsable de establecer las labores de correspondencia ha sido GIL MARTIN, MANUEL.