To Read and to Feel: The Multimodal Representation of Emotions in Digital Children’s Literature

Authors

Keywords:

Digital children’s literature, Literary apps, Emotions, Multimodality, Phenomenology

Abstract

Digital literature presents new ways of constructing aesthetic and emotional experience for child readers. This article reflects on emotion and affect in digital literature through the analysis of three literary apps for children. To deal with the complex phenomenon of the affective and emotional experience in digital reading, an interdisciplinary theoretical framework is proposed, relating Merleau-Ponty’s phenomenology to Kress and van Leeuwen’s multimodal social semiotics. The corpus includes the apps Little Red Riding Hood, by producer Nosy Crow, The Monster at the End of This Book, by Jon Stone and Michael Smollin, and Hat Monkey, by Chris Haughton. It discusses how different semiotic resources are used in the representation of emotions and in suggesting emotional tension to the child reader, with embodiment and the intrinsic relationship between reader’s bodies and their emotional experience as a central part of apps’ textual construction.

Downloads

Download data is not yet available.

Author Biography

Aline Frederico, USP

Pesquisadora nas áreas do livro, leitura e literatura infantil, produção editorial e multimodalidade, com enfoque na literatura infantil digital. Professora no curso de Editoração da Escola de Comunicações e Artes da USP e fundadora do coletivo Leitura na Tela. Foi professora no curso de Produção Editorial da ECO-UFRJ (2020-2023). Doutora em educação e literatura infantil pela Universidade de Cambridge, Reino Unido (2018). Pós-doutorado em Literatura e Crítica Literária na PUC-SP. Co-organizadora com Beth Cardoso do livro Literatura digital para crianças e jovens: teoria e prática da experiência estética. Foi pesquisadora na Cátedra Unesco de Leitura PUC-Rio (2018-2023) e pesquisadora visitante na Universidade da Califórnia - Berkeley, EUA (2018) e no grupo de pesquisa GRETEL da Universidade Autônoma de Barcelona, na Espanha (2014). Mestre em Literatura Infantil pela Universidade da Colúmbia Britânica, Canadá (2014). Graduada em Editoração pela ECA-USP (2005). Especialista em Design Gráfico pelo Centro Universitário Senac (2008) e em Edição pela Universidade Complutense de Madrid e Siale, Espanha (2010). Membro do corpo editorial do periódico acadêmico International Research in Children's Literature, e membro do conselho editorial do periódico Bookbird (Ibby). Votante nos prêmios da Fundação Nacional do Livro Infantil e Juvenil (FNLIJ). Participação no corpo de jurados do Festival ComKids Interativo, na categoria livro digital (pré-juri). Membro dos grupos de pesquisa Literatura e Design de Artefatos para Crianças e Jovens no Mundo Digital, Voz Escrita Infantil e Juvenil e do Núcleo de Pesquisas em Cultura Escrita Digital (NEPCED/CEALE/UFMG). Membro da International Research Society for Children's Literature, do GP de Produção Editorial da Intercom e do GT de Literatura Digital da Anpoll. 

References

AARSETH, Espen J. Cybertext: Perspectives on Ergodic Literature. Baltimore, Md: Johns Hopkins University Press, 1997.

BAUMGARTEN, Alexander. Estética: a lógica da arte e do poema. Tradução de Míriam Sutter Medeiros. Petrópolis: Vozes, 1993.

BRAZÃO, José Carlos Chaves. Afecção e afeto em Spinoza e Daniel Stern. Ayvu: Revista de Psicologia, v. 4, n. 2, pp. 77-95, 2018. Disponível em: https://periodicos.uff.br/ayvu/article/view/22240. Acesso em: 28 abr. 2024.

CHATMAN, Seymour Benjamin. Story and Discourse: Narrative Structure in Fiction and Iilm. Ithaca, NY; London, UK; Cornell University Press, 1978.

CHKLOVSKI, Viktor. A arte como procedimento. In: TOLEDO, Dionísio de Oliveira (org.). Teoria da literatura: formalistas russos. Tradução de Ana Mariza Ribeiro. Porto Alegre: Editora Globo, 1971.

COLOMBETTI, Giovanna. The Feeling Body: Affective Science Meets the Enactive Mind. Cambridge, Mass.; London, UK: The MIT Press, 2014.

EKMAN, Paul.; KELTNER, Dacher. Universal Facial Expressions of Emotion: An Old Controversy and New Findings. In: ULLICA SEGERSTRÅLE; Peter Molnár (org.). Nonverbal Communication: Where Nature Meets Culture. Mahwah, New Jersey: Lawrence Erlbaum Associates, Publishers, 1997. pp. 27-46. Disponível em: https://www.jstor.org/stable/55476. Acesso em: 28 abr. 2024.

FREDERICO, Aline. Children Making Meaning with Literary Apps: A 4-Year-Old Encounter with The Monster at the End of This Book. Paradoxa, v. 29, pp. 43-64, 2017.

FREDERICO, Aline. Embodiment and Agency in Digital Reading: Preschoolers Making Meaning with Literary Apps. Orientadora: Dra. Fiona Maine. Co-orientadora: Dra. Maria Nikolajeva. 2018. Tese (Doutorado em Filosofia) - Homerton College e Faculty of Education, Universidade de Cambridge, Cambridge, 2018. 332 f. https://doi.org/10.17863/CAM.31007. Disponível em: https://www.repository.cam.ac.uk/handle/1810/283637. Acesso em: 28 abr. 2024.

FREDERICO, Aline. Lendo um aplicativo: perspectivas da construção de sentido na leitura literária digital na primeira infância. Perspectiva, v. 39, n. 1, pp. 1-25, 2021. https://doi.org/10.5007/2175-795X.2021.e66013. Disponível em: https://periodicos.ufsc.br/index.php/perspectiva/article/view/66013. Acesso em: 28 abr. 2024.

HAUGHTON, Chris. Macaco de chapéu. Fox & Sheep, 2015. Versão 1.8 (2017). Aplicativo disponível para sistema iOS Apple em https://apps.apple.com/br/app/macaco-de-chap%C3%A9u/id904565251. Aplicativo disponível para sistema Android em: https://play.google.com/store/apps/details?id=com.mobileventures.HatMonkey&hl=ptBR&gl=US.

KRESS, Gunther. Multimodality: A Social Semiotic Approach to Contemporary Communication. New York, NY; London, UK: Routledge, 2010.

MACKEY, Margaret. Digital Picturebooks. In: ARIZPE, Evelyn; STYLES, Morag (org.). Children Reading Picturebooks: Interpreting Visual Texts. 2. ed. London, UK; New York, NY: Routledge, 2016. pp. 169-179.

MAR, Raymond A.; OATLEY, Keith; DJIKIC, Maja; MULLIN, Justin. Emotion and Narrative Fiction: Interactive Influences Before, During, and After Reading. Cognition & Emotion, v. 25, n. 5, pp. 818-833, 2011. DOI: 10.1080/02699931.2010.515151. Disponível em: http://www.tandfonline.com/doi/abs/10.1080/02699931.2010.515151. Acesso em: 28 abr. 2024.

MCCLOUD, Scott. Understanding Comics: The Invisible Art. New York, NY: HarperPerennial, 1994.

MERLEAU-PONTY, Maurice. Fenomenologia da percepção. Tradução de Carlos Alberto Ribeiro de Moura. São Paulo: Martins Fontes, 1999.

MORAES, Giselly Lima de. Trilha sonora de aplicativos para crianças e educação literária. 2016. Tese (Doutorado em Educação) - Faculdade de Educação, Universidade Federal da Bahia, Salvador, 2016. 246 f. Disponível em: https://repositorio.ufba.br/ri/handle/ri/20840. Acesso em: 28 abr. 2024.

NIKOLAJEVA, Maria. Reading Other People’s Minds Through Word and Image. Children’s Literature in Education, v. 43, n. 3, pp. 273-291, 2012. https://doi.org/10.1007/s10583-012-9163-6. Disponível em: https://link.springer.com/article/10.1007/s10583-012-9163-6. Acesso em: 28 abr. 2024.

NORRIS, Sigrid. Analyzing Multimodal Interaction: A Methodological Framework. New York, NY: Routledge, 2004.

NOSY CROW; BRYAN, Ed. Little Red Riding Hood. Nosy Crow, 2011. Versão 2.0.1 (2011). Aplicativo previamente disponível para iOS Apple em: https://apps.apple.com/us/app/little-red-riding-hood-nosy/id626696483?ls=1

PIERCE, Charles S. Semiótica. Tradução de José Teixeira Coelho Neto. 3. ed. São Paulo: Editora Perspectiva, 2005.

SODRÉ, Muniz. As estratégias sensíveis: afeto, mídia e política. Petrópolis: Vozes, 2006.

STONE, Jon; SMOLLIN, Michael. The Monster at the End of this Book. Sesame Street, 2010. Versão 6.0 (2020). Aplicativo disponível para sistema iOS Apple em: https://apps.apple.com/us/app/the-monster-at-the-end/id409467802. Aplicativo disponível para sistema Android em: https://play.google.com/store/apps/details?id=org.sesameworkshop.monsterone.play&hl=en_US&gl=US.

Downloads

Published

2024-09-02

How to Cite

Frederico, A. (2024). To Read and to Feel: The Multimodal Representation of Emotions in Digital Children’s Literature . Bakhtiniana. Revista De Estudos Do Discurso, 19(3). Retrieved from https://revistas.pucsp.br/index.php/bakhtiniana/article/view/64214

Issue

Vol. 19 No. 3 (2024)

Section

Articles

License

Copyright (c) 2024 Bakhtiniana. Revista de Estudos do Discurso

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

The authors grant the journal all copyrights relating to the work published. The concepts expressed in signed articles are absolute and exclusive responsibility of their authors.