Investigación sobre la calidad de las noticias automatizadas en la producción científica internacional: metodologías y resultados

Autores/as

DOI:

https://doi.org/10.7764/cdi.55.54705

Palabras clave:

noticias automatizadas, inteligencia artificial, metodologías de investigación en comunicación, periodismo, diseño experimental

Resumen

La IV Revolución Industrial obliga a pensar en enfoques teóricos y metodológicos adecuados para los objetos de estudio del periodismo automatizado. Se realiza un metaanálisis y un estudio global para detectar las metodologías dominantes en torno a la calidad de las noticias automatizadas. Se aplica la técnica de la revisión sistemática de la literatura científica (SLR) a una búsqueda de artículos sobre los términos periodismo e inteligencia artificial (N=670) entre 2008 –cuando surge el periodismo de datos tal y como lo conocemos hoy en día– y 2022. Se identificaron 18 artículos publicados en Scopus y WoS que analizan la calidad de las noticias automatizadas entre 2014 y 2022, y se llevó a cabo un análisis de contenido y comparado de los aspectos formales, cuantificables (autores, revistas, año de publicación, país, entre otros), y de corte metodológico, como la orientación escogida y las técnicas. Entre los resultados más destacados está el predominio del experimento como método preferente. Los países más centrados en esta cuestión son los Estados Unidos (N=6), España (N=5) y Alemania (N=4). El primero y el último fijan su mirada en los estudios de la percepción y las primeras categorías de Sundar (1999). En España, se adoptan diversos enfoques, en la República Checa (N=1) experimentan con su propia creación algorítmica y en los Países Bajos (N=1) y en Singapur (N=1) se aplica el enfoque experimental.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Teresa Sandoval-Martín, Universidad Carlos III de Madrid, Madrid, España

Teresa Sandoval, profesora titular del Departamento de Comunicación de la Universidad Carlos III de Madrid especializada en periodismo y nuevas tecnologías. Investigadora principal del proyecto Identificación de Sesgos de Género en Inteligencia Artificial financiado por la Agencia Estatal de Investigación de España. Ha dirigido el grupo de investigación Periodismo y Análisis Social: Evolución, Efectos y Tendencias, así como cinco tesis doctorales y una beca posdoctoral europea. Ha participado en más de una decena de proyectos de investigación y en 70 publicaciones.

Leonardo La-Rosa Barrolleta, Universidad de Nebrija, Madrid, España

Leonardo La-Rosa Barrolleta, profesor investigador de la Universidad de Nebrija con más de cinco años de experiencia investigadora en grupos de investigación sobre periodismo y proyectos I+D+i financiados por entidades públicas y privadas. Doctor en Investigación en Medios de Comunicación por la Universidad Carlos III de Madrid, UC3M (mención Cum Laude y doctorado internacional) y acreditado como ayudante doctor por la ANECA, sus líneas de investigación incluyen diversas ramas del periodismo digital y de datos, así como la alfabetización mediática o la educomunicación. 

Citas

Alessandri, F., Edwards, C., Pellegrini, S., Puente, S., Rozas, E., Saavedra, G., & Porath, W. (2001). VAP: un sistema métrico de la calidad periodística (JAV: A journalistic quality metric system). Cuadernos.Info, (14). https://doi.org/10.7764/cdi.14.187

Broussard M., Diakopoulos N., Guzman A. L., Abebe R., Dupagne M., & Chuan C.-H. (2019). Artificial Intelligence and Journalism. Journalism & Mass Communication Quarterly, 96(3), 673–695. https://doi.org/10.1177/1077699019859901

Cabero Almenara, J. & Llorente Cejudo, M. del C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información y comunicación (TIC) (The Expert’s Judgment Application as a Tecnic Evaluate Information and Communication Technology (ICT)). Revista Eduweb, 7(2), 11-22. https://revistaeduweb.org/index.php/eduweb/article/view/206

Calvo-Rubio, L. M. & Ufarte-Ruiz, M. J. (2020). Percepción de docentes universitarios, estudiantes, responsables de innovación y periodistas sobre el uso de inteligencia artificial en periodismo (Perception of teachers, students, innovation managers and journalists about the use of artificial intelligence in journalism). Profesional De La Información, 29(1). https://doi.org/10.3145/epi.2020.ene.09

Calvo-Rubio, L. M., & Ufarte-Ruiz, M. J. (2021). Artificial intelligence and journalism: Systematic review of scientific production in Web of Science and Scopus (2008-2019). Communication & Society, 34(2), 159–176. https://doi.org/10.15581/003.34.2.159-176

Carlson, M. (2015). The Robotic Reporter. Automated journalism and the redefinition of labor, compositional forms, and journalistic authority. Digital Journalism, 3(3), 416-431. https://doi.org/10.1080/21670811.2014.976412

Carrasco-Campos, A. & Saperas Lapiedra, E. (2016). Cambio tecnológico, globalización neoliberal y hegemonías metodológicas en la investigación comunicativa internacional (Technological change, neoliberal globalization and methodological hegemonies in international communication investigation). Ámbitos: Revista Internacional de Comunicación, (32). https://idus.us.es/handle/11441/66524

Clerwall, C. (2014). Enter the Robot Journalist. Users' perceptions of automated content. Journalism Practice, 8(5), 519–531. https://doi.org/10.1080/17512786.2014.883116

Dörr, K. N. (2015). Mapping the field of Algorithmic Journalism. Digital Journalism, 4(6), 700-722. https://doi.org/10.1080/21670811.2015.1096748

Echeverría, J. (1999). Introducción a la metodología de la ciencia. La filosofía de la ciencia en el siglo XX (Introduction to the methodology of science. The philosophy of science in the 20th century). Cátedra.

Fanta, A. (2017). Putting Europe’s Robots on the Map: Automated journalism in news agencies. Reuters Institute for the Study of Journalism.

Fieiras Ceide, C., Vaz Álvarez, M., & Túñez López, M. (2022). Verificación automatizada de contenidos en las radiotelevisiones públicas europeas: primeras aproximaciones al uso de la inteligencia artificial. Redmarka. Revista de Marketing Aplicado, 26(1), 36-51. https://doi.org/10.17979/redma.2022.26.1.8932

Flores-Márquez, D. & González-Reyes, R. (2023). Editorial Dossier: Discusiones metodológicas en los estudios de comunicación digital (Dossier Editorial. Methodological discussions in digital communication studies). Cuadernos.Info, (54), I-VII. https://doi.org/10.7764/cdi.54.56629

Glahn, H. R. (1970). computer-produced worded forecasts. Bulletin of the American Meteorological Society, 51(12), 1126–1131. https://doi.org/10.1175/1520-0477(1970)051<1126:CPWF>2.0.CO;2

Gómez-Escalonilla, G. (2021). Métodos y técnicas de investigación utilizados en los estudios sobre comunicación en España (Research methods and techniques employed in Communication Studies in Spain). Revista Mediterránea de Comunicación/Mediterranean Journal of Communication, 12(1), 115-127. https://www.doi.org/10.14198/MEDCOM000018

Graefe, A. (2016). Guide to Automated Journalism. Tow Center for Digital Journalism.

Graefe, A. & Bohlken, N. (2020). Automated Journalism: A Meta-Analysis of Readers’ Perceptions of Human-Written in Comparison to Automated News. Media and Communication, 8(3), 50-59. https://doi.org/10.17645/mac.v8i3.3019

Graefe, A., Haim, M., Haarmann, B., & Brosius, H.-B. (2018). Reader’s perception of computergenerated news: Credibility, expertise, and readability. Journalism, 19(5), 595-610. https://doi.org/10.1177/1464884916641269

Guzman A. L. & Lewis S. C. (2020). Artificial intelligence and communication: A human– machine communication research agenda. New Media & Society, 22(1), 70-86. https://doi.org/10.1177/1461444819858691

Haim, M. & Graefe, A. (2017). Automated News. Better than expected? Digital Journalism, 5(8), 1044-1059. https://doi.org/10.1080/21670811.2017.1345643

Jia, C. (2020). Chinese Automated Journalism: A Comparison Between Expectations and Perceived Quality. International Journal of Communication, 14, 2611-2632. https://ijoc.org/index.php/ijoc/article/view/13334

Jia, C. & Johnson, T. (2021). Source Credibility Matters: Does Automated Journalism Inspire Selective Exposure? International Journal of Communication, 15, 3760–3781.

Jung, J., Song, H., Kim, Y., Im, H., & Oh, S. (2017). Intrusion of software robots into journalism: The public’s and journalists’ perceptions of news written by algorithms and human journalists. Computers in Human Behavior, 71, 291–298. https://doi.org/10.1016/j.chb.2017.02.022

Kothari, A. & Cruikshank S. A. (2022). Artificial Intelligence and Journalism: An Agenda for Journalism Research in Africa, African Journalism Studies, 43(1), 17-33. https://doi.org/10.1080/23743670.2021.1999840

LeCompte, C. (2015). Automation in the Newsroom. How algorithms can help reporters. Nieman Reports, 69(3), 32–45. http://niemanreports.org/wp-content/uploads/2015/08/ NRsummer2015.pdf

Lermann Henestrosa, A., Grieving, H., & Kimmerle, J. (2023). Automated journalism: The effects of AI authorship and evaluative information on the perception of a science journalism article. Computers in Human Behavior, 138, 107445. https://doi.org/10.1016/j.chb.2022.107445

Linden, C.-G. (2017). Algorithms for journalism: The future of news work. The Journal of Media Innovations, 4(1), 60-76. https://doi.org/10.5617/jmi.v4i1.2420

López-García, X. & Vizoso, A. (2021). Periodismo de alta tecnología: signo de los tiempos digitales del tercer milenio (High-tech journalism: a sign of the digital era of the third millennium). Profesional De La Información, 30(3). https://doi.org/10.3145/epi.2021.may.01

López-Hidalgo, A. & López-Redondo, I. (2020). Riesgos y desafíos del periodismo inteligente (Risks and challenges of smart journalism). In M. J. Ruiz Acosta & A. López Hidalgo (Coords.), El periodismo en tiempos de realidad virtual (Journalism in times of virtual reality). Comunicación Social Ediciones y Publicaciones.

Martín-Martín, A., Orduña-Malea, E., Thelwall, M., & Delgado-López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of Informetrics, 12(4), 1160-1177. https://doi.org/10.1016/J.JOI.2018.09.002

Martínez Nicolás, M., Saperas Lapiedra, E., & Carrasco Campos, A. (2019). La investigación sobre comunicación en España en los últimos 25 años (1990-2014). Objetos de estudio y métodos aplicados en los trabajos publicados en revistas españolas especializadas (Communication research in Spain over the past 25 years (1990-2014). Objects of study and research methods in the papers published by Spanish peer-reviewed communication journals). Empiria: Revista de metodología de ciencias sociales, 42(37-69). https://doi.org/10.5944/empiria.42.2019.23250

Meehan, J. R. (1977). Tale-Spin, an interactive program that writes stories. In Proceedings of the Fifth International Joint Conference on Artificial Intelligence, 1, 91-98. https://www.ijcai.org/Proceedings/77-1/Papers/013.pdf

Moran, R. E. & Shaikh, S. J. (2022). Robots in the News and Newsrooms: Unpacking MetaJournalistic Discourse on the Use of Artificial Intelligence in Journalism. Digital Journalism, 10(10), 1756-1774. https://doi.org/10.1080/21670811.2022.2085129

Moravec V., Macková V., Sido J., & Ekštein, K. (2020). The Robotic Reporter in The Czech News Agency: Automated Journalism and Augmentation in the Newsroom. Communication Today, 11(1), 37-52. https://www.communicationtoday.sk/the-roboticreporter-in-the-czech-news-agency-automated-journalism-and-augmentation-in-thenewsroom/

Murcia Verdú, F. J., Ramos Antón, R., & Calvo Rubio, L. M. (2022). Comparative analysis of the sports chronicle quality written by artificial intelligence and journalists. Revista Latina de Comunicación Social, 80, 91-111.https://doi.org/10.4185/RLCS-2022-1553

Napoli, P. M. (2014). Automated Media: An Institutional Theory Perspective on Algorithmic Media Production and Consumption. Communication Theory, 24(3), 340–360. https://doi. org/10.1111/comt.12039

Noain-Sánchez, A. (2022). Addressing the Impact of Artificial Intelligence on Journalism: The perception of experts, journalists and academics. Communication and Society, 35(3), 105–121. https://doi.org/10.15581/003.35.3.105-121

Orozco, G. & González, R. (2011). Una coartada metodológica (A methodological alibi). Tintable.

Otzen, T. & Manterola, C. (2017). Técnicas de Muestreo sobre una Población a Estudio. (Sampling Techniques on a Population Study). International Journal of Morphology, 35(1), 227-232.https://doi.org/10.4067/S0717-95022017000100037

Parratt-Fernández, S., Mayoral-Sánchez, J., & Mera-Fernández, M. (2021). The application of artificial intelligence to journalism: an analysis of academic production. Profesional De La Información, 30(3). https://doi.org/10.3145/EPI.2021.MAY.17

Pavlik, J. V. (2022). Disruption and Digital Journalism. Assessing News Media Innovation in a Time of Dramatic Change. Routledge.

Rojas Torrijos, J. L. & Toural Bran, C. (2019). Periodismo deportivo automatizado. Estudio de caso de AnaFut, el bot desarrollado por El Confidencial para la escritura de crónicas de fútbol (Automated sports journalism. The AnaFut case study, the bot developed by El Confidencial for writing football match reports). Doxa Comunicación. Revista Interdisciplinar De Estudios De Comunicación Y Ciencias Sociales, (29), 235-254. https://doi. org/10.31921/doxacom.n29a12

Ruiz Acosta, M.J. y López Hidalgo, A. (2019). El periodismo en tiempos de realidad virtual. Salamanca: Comunicación Social. Ediciones y Publicaciones. Salamanca, Comunicación Social.

Sánchez Gonzales, H. & Sánchez González, M (2017). Bots as a news service and its emotional connection with audiences. The case of Politibot. Doxa Comunicación. Revista Interdisciplinar De Estudios De Comunicación Y Ciencias Sociales, (25), 63-84. https://doi. org/10.31921/doxacom.n25a3

Sanahuja Sanahuja, R. & López Rabadán, P. (2021). Ámbitos de aplicación periodística de la Inteligencia Artificial. Mapa conceptual, funciones profesionales y tendencias en desarrollo en el contexto de la pandemia global de la Covid-19 (Journalistic applications of Artificial Intelligence. Concept map, professional roles and developing trends in the context of the global Covid-19 pandemic). Razón y Palabra, 25(112), 432-449. https://doi. org/10.26807/rp.v25i112.1827

Sandoval-Martín, M. T. & La-Rosa, L. (2018). Big Data as a differentiating sociocultural element of data journalism: the perception of data journalists and experts. Communication & Society, 31(4), 193-209.https://doi.org/10.15581/003.31.4.193-209

Schwab, K. (2016). La Cuarta Revolución Industrial (The Fourth Industrial Revolution). Debate. Smuha, N.(Coord.). (2018). A definition of AI: Main capabilities and scientific disciplines. Definition developed for the purpose of the deliverables of the High-Level Expert Group on AI. https://ec.europa.eu/futurium/en/system/files/ged/ai_hleg_definition_of_ai_18_december_1.pdf

Sundar, S. (1999). Exploring Receivers' Criteria for Perception of Print and Online News. Journalism & Mass Communication Quarterly, 76(2), 373–386. https://doi. org/10.1177/107769909907600213

Tandoc Jr, E. C., Yao, L. J., & Wu, S. (2020). Man vs. Machine? The Impact of Algorithm Authorship on News Credibility. Digital Journalism, 8(4), 548-562. https://doi.org/10.1080 /21670811.2020.1762102

Túñez-López, J.-M., Toural-Bran, C., & Cacheiro-Requeijo, S. (2018). Uso de bots y algoritmos para automatizar la redacción de noticias: percepción y actitudes de los periodistas en España (Automated-content generation using news-writing bots and algorithms: Perceptions and attitudes amongst Spain’s journalists). Profesional De La Información, 27(4), 750–758. https://doi.org/10.3145/epi.2018.jul.04

Túñez-López, M., Toural-Bran, C., & Valdiviezo-Abad, C (2019). Automatización, bots y algoritmos en la redacción de noticias. Impacto y calidad del periodismo artificial (Automation, bots and algorithms in newsmaking. Impact and quality of artificial journalism). Revista Latina de Comunicación Social, 74, 1411-1433. https://doi.org/10.4185/ RLCS-2019-1391

Túñez-López, J. M., Fieiras Ceide, C., & Vaz-Álvarez, M (2021). Impact of Artificial Intelligence on Journalism: transformations in the company, products, contents and professional profile. Communication & Society, 34(1), 177-193.https://doi.org/10.15581/003.34.1.177-193

Ufarte Ruiz M. J. & Manfredi Sánchez, J. L. (2019). Algorithms and bots applied to journalism. The case of Narrativa Inteligencia Artificial: Structure, production and informative quality. Doxa Comunicación. Revista Interdisciplinar De Estudios De Comunicación Y Ciencias Sociales, (29), 213-233. https//doi.org/10.31921/doxacom.n29a11

van-der-Kaa, H. & Krahmer, E. (2014, October 24-25). Journalist versus news consumer: The perceived credibility of machine written news. In Proceedings of the Computation+Journalism conference. Columbia University.https://research.tilburguniversity.edu/en/publications/ journalist-versus-news-consumer-the perceived-credibility-of-mach

Waddell, T. F. (2018). A Robot Wrote This? How perceived machine authorship affects news credibility. Digital Journalism., 6(2), 236-255. https://10.1080/21670811.2017.1384319

Waddell, T. F. (2019a). Can an Algorithm Reduce the Perceived Bias of News? Testing the Effect of Machine Attribution on News Readers’ Evaluations of Bias, Anthropomorphism, and Credibility. Journalism & Mass Communication Quarterly, 96(1), 82–100. https://doi.org/10.1177/1077699018815891

Waddell, T. F. (2019b). Attribution Practices for the Man-Machine Marriage: How Perceived Human Intervention, Automation Metaphors, and Byline Location Affect the Perceived Bias and Credibility of Purportedly Automated Content, Journalism Practice, 13(10), 12551272. https://doi.org/10.1080/17512786.2019.1585197

Wölker, A., & Powell, T. E. (2018). Algorithms in the newsroom? News readers’ perceived credibility and selection of automated journalism. Journalism, 22(1), 1-18. https://doi.org/10.1177/1464884918757072

Wu, Y. (2019). Is Automated Journalistic Writing Less Biased? An Experimental Test of AutoWritten and Human-Written News Stories. Journalism Practice, 14(8), 1008-1028. https://doi.org/10.1080/17512786.2019.1682940

Zheng, Y., Zhong, B., & Yang, F. (2018). When algorithms meet journalism: The user perception to automated news in a cross-cultural context. Computers in Human Behavior, 86, 266–275. https://doi.org/10.1016/j.chb.2018.04.046

Zhou, Y. & Liao, H.T. (2020). A bibliometric analysis of communication research on artificial intelligence and big data. In Proceedings of the 6th International Conference on Humanities and Social Science Research (ICHSSR 2020), pp. 456-459. https://doi.org/10.2991/assehr.k.200428.097

Publicado

2023-05-31

Cómo citar

Sandoval-Martín, T., & La-Rosa Barrolleta, L. (2023). Investigación sobre la calidad de las noticias automatizadas en la producción científica internacional: metodologías y resultados. Cuadernos.Info, (55), 114–136. https://doi.org/10.7764/cdi.55.54705