AI är inte bara ett motstridigt begrepp, utan också ett sammansatt metodkomplex. Stora språkmodeller och generativa modeller, som GPT (Generative Pre-trained Transformer), har förändrat förutsättningarna för att bearbeta forskningsmaterial med analytisk fördjupning. Samtidigt har metoder som ligger till grund för vad som idag förknippas med AI länge varit centrala inom bland annat språkteknologi.¹

Sociologen Anton Törnberg indelar den språkteknologiska utvecklingen i tre generationer. Med första generationens språkteknologi avser Törnberg en tidig regelbaserad beräkning av enkla språkliga element, som nyckelord (keywords) och kollokationer (ordpar som uppträder tillsammans), vilket möjliggör rudimentär analys av språkliga mönster. Den andra generationen åsyftar mer tekniskt avancerade, ofta sannolikhetsbaserade metoder för textanalys av underliggande semantiska mönster baserade på maskininlärning, som tema-modellering (topic modeling). Den tredje generationen inbegriper stora språkmodeller, där en generativ modell som GPT på sofistikerade sätt kan besvara frågor om material genom välformulerade och till synes initierade svar. Enligt Törnberg kan stora språkmodeller ligga till grund för nya tvärvetenskapliga hybriditeter av datadriven och hermeneutisk texttolkning, som ”draw on the strengths of both traditions to produce context-sensitive, scalable, and reflexive textual interpretations”.²

I föreliggande artikel riktar vi uppmärksamhet mot just skärningspunkten mellan den ”traditionella” litteraturvetenskapen och dessa tre generationer av språkteknologi med utgångspunkt i en tidigare litteraturvetenskaplig studie. I Kritikens ordning: Svenska bokrecensioner 1906, 1956, 2006 (2013) analyserade Lina Samuelsson normativa diskurser kring litteraturkritik i dagspress.³ Vår avsikt är att resonera om möjligheten att replikera och utvidga Samuelssons analys av vilka litterära värderingar som var centrala i ett historiskt skede, liksom vad som ansetts vara god litteratur och eftersträvansvärda kvaliteter hos en författare, genom experiment med metoder knutna till olika skeden i AI-utvecklingen. Snarare än att tänja på några tekniska gränser, är ambitionen att genom en schematisk men habil tillämpning av olika generationers språkteknologi diskutera centrala metodologiska frågor som uppstår i mötet mellan mänsklig och datadriven läsning.

En grundtanke är att bilden idag av AI som litteraturvetenskapligt forskningsredskap blir mer sammansatt om den ställs i relation till tidigare tekniker. Stora språkmodeller utgör delvis en avancerad förlängning av tidigare regelbaserade och sannolikhetsbaserade bearbetningsprocesser av språkdata. Likaså finns en kontinuitet avseende hur metoderna kräver mänskliga val och bedömningar om såväl genomförande som resultat. Vår studie består därför av fallstudier där Samuelssons tidigare läsningar jämförs med analyser baserade på ordfrekvensanalys, tema-modellering respektive generativa modeller. Undersökningen utgår från två övergripande frågor: Vilka möjligheter och begränsningar uppvisar de datadrivna metoderna i vårt diskursanalytiska sammanhang? Vilka reflektioner påkallar de i sin tur om Samuelssons litteraturvetenskapliga metod?

På ett plan speglar undersökningen det ökade intresset inom digital humaniora för att mer ingående reflektera över vad som händer i mötet mellan traditionella och digitala metoder.⁴ Datadrivna studier av litteraturkritik brukar annars främst kretsa kring deras analytiska potential.⁵ Enligt litteraturvetaren Jonas Ingvarsson har dock digitaliseringen gett upphov till andra former av epistemologier, där nya digitala verktyg och artefakter utmanar villkoren för akademisk kunskapsbildning och förändrar vår bearbetning av, och vårt förhållningssätt till, forskningsmaterial.⁶

Vi har i tidigare studier diskuterat hur datavisualiseringar av de bokrecensioner som Samuelsson studerat kan ha en främmandegörande effekt och aktualisera nya perspektiv på materialet.⁷ Att datadrivna metoder kan ha en sådan funktion är inte någon ny idé. Till exempel påpekar Steven Ramsay att Roberto Busas pionjärarbete i Index Thomisticus (1946–1980), som hålkortsindexerade alla ord i Thomas av Aquinos skrifter, bidrar till att främmandegöra textualiteten i linje med tankefigurer inom rysk formalism.⁸ Specifikt anknöt vi till Viktor Sjklovskijs begrepp främmandegörande (priëm ostranenija), vilket avser estetiska effekter som skapar distans mellan ett verk och dess betraktare för att påkalla eftertanke. En modernistiskt färgad grundidé hos Sjklovskij är att vanans makt avtrubbar människans förmåga att uppfatta vardagliga fenomen i all deras särart, men att konsten har kapacitet att motverka denna automatisering av perceptionen.⁹ Vi hävdade att datavisualiseringarna av de recensionstexter som Samuelsson analyserade kunde förstås som ett slags kvantifierade, abstraherade översikter, som i prosaisk mening kan sägas av-automatisera blicken på materialet och rikta uppmärksamhet mot tidigare förbisedda aspekter.¹⁰ I våra nya fallstudier sätter vi fokus på hur tre generationers språkteknologiska metoder kan skapa olika främmandegörande effekter beträffande Samuelssons tidigare resultat.

Eftersom Samuelssons ursprungliga material är relativt begränsat i omfattning för en robust datadriven analys, utgår undersökningen från ett större litterärt recensionsmaterial, sammanställt och annoterat baserat på Kungliga bibliotekets (KB) digitiserade tidningssamling. Eftersom KB har upphovsrättsliga bestämmelser om vilket material och vilken kommersiell programvara i form av generativa språkmodeller som kan användas inom väggarna på dess forskningsinfrastruktur KB-labb, har vi specifikt begränsat oss till recensioner från 1906 i de tidningar som Samuelsson analyserade. För att förstärka underlaget för analysen, har vi dock utvidgat urvalet till att inkludera ytterligare en tidning från 1906 och även ett par från 1905. Eftersom avsikten är att diskutera breda diskursiva mönster vid en historisk tidpunkt, blir exakta årsgränser av begränsad betydelse.

Materialet som ligger till grund för den här artikeln består av de hela årgångarna av Aftonbladet (även 1905), Arbetet, Dagens Nyheter (även 1905), Göteborgs Handels- och Sjöfartstidning, Göteborgs-Posten, Nya Dagligt Allehanda, Socialdemokraten, Stockholms Dagblad, Stockholms-Tidningen, Svenska Dagbladet, Sydsvenska Dagbladet Snällposten, Upsala Nya Tidning och Vårt Land. Sammantaget blir det en korpus av cirka 400 recensionsartiklar, varav flera är samlingsrecensioner som anmäler flera verk, vilket innebär att det totala antalet recensioner uppgår till cirka 600.¹¹

Specifikt fokuserar vår analys på diskursiva mönster i litteraturkritiken uttryckta genom normativa system i recensenternas utsagor eller vad Samuelsson beskriver som ”förhållandet mellan den kritiska praktiken, estetiker och ideologier”.¹² För år 1906 påvisade hon ett intresse hos kritikerna för att bedöma författarnas förmenta utveckling och mognad, liksom en vilja att avgöra vem som är en genuin författare och konstnär. Likaså speglas en upptagenhet vid fosterländskhet och nationalitet med avseende på romanfigurers eller författares nationstillhörighet, liksom nationalkaraktäristiska skrivsätt. Vidare relaterades de litterära värderingskriterierna till en realistisk estetik, främst uttryckt i en uppskattning av romanfigurernas trovärdighet, och en romantisk konstnärssyn manifesterad i ett sökande efter äkthet såtillvida att det litterära skapandet skulle springa ur författarens inre.¹³ Följaktligen kretsar vår undersökning kring nyckelbegrepp, som utveckling, mognad och trovärdighet, vilka kan anses spegla de diskursiva mönster Samuelsson påvisade.

Vi börjar med att diskutera ordfrekvensanalys för att visa hur en rudimentär kvantitativ språkteknologisk analys visserligen ger ett analytiskt fyrkantigt perspektiv på recensionstexterna, men också främmandegör den litteraturvetenskapliga metoden på ett intressant sätt. Sedan beskriver vi hur en mer komplex tema-modellering också ger resultat som ter sig analytiskt platta, men som ändå kan skärpa blicken på materialet. Därefter visar vi hur generativa språkmodeller, trots brister i metodologisk transparens, tillför substantiella perspektiv på värderingsmönster i litteraturkritiken. Vi avslutar med att betona hur dagens AI ingår i längre kontinuiteter beräffande teknisk utveckling och hur tolkningsarbete kring resultat genomgående aktualiserar behovet av kunskap om material och kontext. Samtidigt framhålls att frågor kring vad som händer och borde hända i mötet mellan avancerade algoritmer och litteraturvetenskapliga forskare sannolikt lär kvarstå i framtiden.

I sin studie beskrev Samuelsson diskursiva mönster betecknande för litteraturkritiken 1906 utan att grunda framställningen i någon kvantitativ analys av vilka specifika ord och formuleringar som så att säga konstituerade dessa diskurser. I linje med en traditionell hermeneutisk undersökning, gav hon klargörande exempel för att kvalitativt underbygga sina slutsatser. I Can We Be Wrong? (2020) framhåller Andrew Piper dock hur kvantitativa perspektiv kan berika och utmana vedertagna litteraturvetenskapliga praktiker. Piper visar hur långtgående generaliseringar om litteraturhistoriska sammanhang och processer främst bottnat i retoriska framställningar och begränsade material, snarare än robust empiri och systematiska tillvägagångssätt. Enligt honom kan kvantitativa tillvägagångssätt påkalla reflektion om metodologier kring materialurval och analys, liksom grunden för slutsatser. Piper hävdar inte att kvantitativa förhållningssätt skulle vara mer vetenskapliga än kvalitativa, men han pläderar för ett mer transparent, stringent och problematiserande förhållningssätt till traderade metoder inom litteraturvetenskapen.¹⁴

I vårt fall blir ordfrekvensanalys ett enkelt sätt att syna Samuelssons diskursanalys ur ett kvantitativt perspektiv baserat på vår större recensionssamling från 1905 och 1906 och på samma gång främmandegöra materialet. Ordfrekvensanalys från den första generationens språkteknologiska metoder är i grunden en enkel, regelbaserad teknik för att så att säga mäta språk som data. Samtidigt som den erbjuder metodologisk stringens i studier av större textmaterial kan den tillskrivas en analytisk fyrkantighet genom att reducera språklig kommunikation till statistiska frekvenser, som varken förmår spegla dess nyansrikedom eller kulturbundna meningsskapande.¹⁵ Likväl aktualiserar Pipers resonemang en poäng med att beräkna ordfrekvenser baserat på för Samuelssons diskursanalys centrala termer – vilka förenklat men rättvisande kan sammanfattas som ”utveckling och mognad”, ”konstnärlighet och äkthet”, ”realism och trovärdighet”, samt ”nationalitet och svenskhet” – i materialet (se Tabell 1) och att diskutera deras betydelse i relation till Samuelssons tidigare analys.

Först ska sägas att det knappast är oproblematiskt att operationalisera en diskursanalys genom ett begränsat antal nyckelord. Centralt är att vi väljer ut ett antal ord som anses relevanta i sammanhanget och som ska förmå spegla en aktuell diskurs, vilket givetvis påverkar utfallet. Till exempel verkar det framkomligt att fånga in det dåtida litteraturkritiska kriteriet ”Konstnärlighet och äkthet” genom ord som ”konstnärlig” (100), ”skald” (211), ”äkta” (122) och ”sann” (27), som vi utifrån Samuelssons tidigare analys vet är betydelsefulla. Ord som ”personlig” (75) och även ”själ” (164) framstår också som ändamålsenliga i sammanhanget och det är inte svårt att finna fler möjliga ord, som ”innerst” (18) eller ”erfarenhet” (61). Frågan är dock var man kan dra ett streck för hur många ord som bör inkluderas (eller inte) för att på ett tillfredsställande sätt fånga in något centralt i diskursen, vilket reflekterar ett av metodens inneboende problem.

En annan fråga är vilken betydelse som antalet ordförekomster kan tillmätas. Att en term som ”svensk” får många träffar (300) är förstås intressant och kan underbygga Samuelssons slutsats om betydelsen av nationalitet i kritikens ordning i början av 1900-talet. Men saken kompliceras av hur ordet används. I de flesta fall figurerar ”svensk” i mer eller mindre informativa påståenden, som en ”förtjänstfull svensk översättning” eller om vad som kan intressera ”svenska läsare”, vilket inte nödvändigtvis uttrycker någon nationalistisk diskurs.¹⁶ Kort sagt har frekvenser en platthet i analys av ords betydelser och användning.

Man kan också fundera på vad som är en hög eller låg frekvens i sammanhanget. Ord som ”nation” (55) och ”fosterland” (19) eller ”fosterländsk” (3), tycks ha en ideologisk klang när en kritiker skriver att en författare ”i en och annan af sina dikter slagit an manligt fosterländska toner”.¹⁷ Än mer så ”ras” (20), som gärna leder tanken till dåtida mer eller mindre rasistiskt präglade föreställningar. Men är de 55 träffarna för ”nation” nödvändigtvis mer analytiskt intressanta än de 19 på ”fosterland”? Hur avgör man vilken analytisk tyngd olika ord kan tillmätas i relation till varandra eller, för den delen, vilken betydelse de har i recensentens framställning?

Likaså kan en recension anses ingå i ett diskursivt mönster som ”Konstnärlighet och äkthet”, utan att använda ord som nödvändigtvis speglas i en ordfrekvensanalys. I diskussionen av äkthets-diskursen citerar Samuelsson ur recensioner och ger exempel som: ”[a]tt säga att de icke verka upplefda vore meningslöst, men det personliga i dem är svagt” (vår kursivering). Dessa och andra betydelsebärande ord är inte lätta att fånga upp utan en ganska invecklad frekvensanalys, som förmår att särskilja mellan ords mångtydigheter. Andra exempel är ”[u]tsirningen, adjektiven, känslans instrumentering bort skymma melodien, känslan själf” och ”[d]et är inga hemligheter, intet skälfvande bröst bakom sådana rader” (våra kursiveringar). Man kan jämföra med hur en anmälare apropå en diktsamling skriver: ”Jag vet ingenting om, huruvida Sven Lidman själf lefvat vid Canal Grande, men i hvarje fall meddelar en sådan diktföljd i sin bjärta sensationsromantik ett andra eller tredje hands intryck” (vår kursivering).¹⁸ Vi möter här formuleringar som rör äkthet, vars betydelse inte är trivial att fånga upp eftersom frekvensanalysen alltså skulle förmå identifiera ”tredje hands intryck” och ”intet skälfvande bröst” som uttryck för detta ideal, i alla fall om man med någon större precision skulle kvantifiera den diskurs Samuelsson studerar.

Samtidigt som ordfrekvenser har uppenbara begränsningar när det gäller att härleda en större grupp ord och utsagor till en litteraturkritisk diskurs, aktualiserar de likväl Pipers poäng om värdet av systematisk metodologi. Frekvensanalysen får på så vis en viss främmandegörande effekt, såtillvida att den tillför en abstraktionsnivå som påkallar reflektion om den analytiska betydelsen av ordförekomster i en text. Samuelsson blottlägger på ett nyanserat sätt diskursiva mönster i materialet i linje med många andra litteraturvetenskapliga studier, men utan att definiera klara kriterier för analysen. Med Piper kan man hävda att de kvantitativa resultaten, oavsett hur de tolkas, skapar kritisk distans till en sådan analysmetod. Om Samuelsson till exempel hade systematiskt sammanställt betydelsebärande ord (manuellt eller med beräkningsverktyg) hade hon på något plan förstärkt sin argumentation, liksom transparensen kring hur den diskurs som hon vederlägger konkret uttrycks.

Medan ovanstående frekvensanalys utgår från vår egen förmåga att ringa in nyckelord som kan tänkas uttrycka en diskurs, gör andra generationens språkteknologi det möjligt att automatiskt extrahera potentiellt intressanta resultat. Dessa metoder rör sig bortom de ord som explicit står i en text och kan på andra sätt bearbeta språklig komplexitet och struktur genom att datamodeller tränas på större textmängder. Till exempel kan tema-modellering genom en kombination av statistisk och induktiv analys av latenta strukturer av ord som förekommer tillsammans så att säga föreslå vad som – med viss försiktighet – kan benämnas som återkommande ”teman” (topics) i texter. Som Törnberg noterar, har denna metod särskilt tilltalat forskare inom human- och samhällsvetenskaperna, som traditionellt intresserat sig för tematiska analyser, om än för att ordet tema kan laddas med olika betydelser, något vi återkommer till.¹⁹

En aspekt är att tema-modellering, som den tillämpas inom digital humaniora, manifesterar ett tvärvetenskapligt samarbete mellan teknisk och humanistisk expertis, vilket Timothy Tangherlini och Peter Leonard sammanfattar på följande sätt:

As opposed to keyword search, which requires that the researcher know what to look for a priori, the topic modeling approach asks the algorithm to reveal latent semantic patterns in the data, and it couples these latent patterns with expert-applied labels. The researcher can subsequently ”curate” these labeled topics, weeding out uninteresting ones and focusing on those that appear promising for the research problem at hand. Since topic modeling algorithms can never ”understand” the words they process, and similarly cannot propose firm conclusions about the books they have ”read,” scholars must serve in those crucial capacities.²⁰

Samtidigt som tema-modellering används inom human- och samhällsvetenskaperna för att urskilja diskurser i textkorpusar baserat på avancerade probabilistiska beräkningar, har metoden kritiserats för att generera sina så kallade teman med viss slumpmässighet och utan tillfredsställande transparens. Likaså är den på sätt och vis präglad av en liknande statistisk fyrkantighet som traditionell ordfrekvensanalys, såtillvida att den i grunden även utgår från ordlistor och kvantitativa mått. Bortsett från den knappast triviala frågan om vad som i sammanhanget egentligen avses med ett tema (jämför inte minst betydelseglidningen mellan svenskans tema och engelskans topic), är tekniken behäftad med en risk för tendentiösa resultat. De listor som genereras över hur ord grupperar sig tillsammans i meningsstrukturer ger gärna intryck av objektiv vetenskaplighet, men bygger inte på semantisk förståelse i egentlig mening, utan på matematiska abstraktioner och statistiska sannolikhetsfördelningar, där avgörandet av vad som anses vara analytiskt intressanta teman blir beroende av manuell bedömning.²¹ Medan förespråkare för tema-modellering framhåller den analytiska användbarheten av de teman som genereras, påpekar kritiker att dessa vid närmare granskning kan vara mindre koherenta och kontrollerbara.²²

För att diskutera möjligheterna att urskilja diskursiva mönster i vårt recensionsmaterial genom denna typ av datamodellering, har vi använt en av KB:s så kallade BERT-modeller (Bidirectional Encoder Representations from Transformers), BERTopic. Till skillnad från äldre metoder för tema-modelleringar som LDA (Latent Dirichlet Allocation), som främst baseras på hur ofta ord förekommer i texter, använder BERTopic kontextuella vektorer från KB-BERT, en svensk BERT-modell tränad på stora mängder svenska texter, däribland dagstidningar.²³ För att få en inte alltför spretig överblick genererade vi ett begränsat antal teman.²⁴ Tabell 2 visar de 19 teman som genererades (från 0–18) och antalet recensionsartiklar som de förekommer i.

Vi kan direkt konstatera att inget av dessa 19 teman tydligt anknyter till Samuelssons litteraturkritiska diskurser (”Utveckling och mognad”, ”Konstnärlighet och äkthet”, ”Realism och trovärdighet”, ”Nationalitet och svenskhet”) eller innehåller några av de nyckelord som diskuterades i föregående avsnitt om ordfrekvenser.

De teman som lyfts fram i modelleringen har i stället till stor del att göra med de litterära genrer som recenseras. Tema-modelleringen markerar en åtskillnad mellan recensioner av prosa (romaner och noveller), som i tema nummer 0 (”Litterär, litteratur, roman, novell, författarinnan …”) och nummer 4 (”Novell, skildring, fantasi, roman, samling…”) och lyrik (som i tema 2: ”Lyrik, poesi, diktning, dikt, poet…” och tema 3: ”Dikt, lyrisk, skildring, dramat, förlag …” och 18: “poesi, dikt, dikt af, diktsamling …”). Således ligger det nära till hands att anta att modellen tar fasta på hur recensioner av olika genrer, exempelvis poesi, tenderar att innehålla likartade ord eller ha liknande textstruktur. En närmare läsning av recensionerna visar också att de mindre teman som modelleringen identifierar ibland helt eller nästan bara bygger på anmälningar av ett enda verk, vilket uppenbart försvagar deras övergripande relevans. Ett exempel är tema nummer 17 (”Militärroman, officersroman, militärtryck, värnplikt, krig …”), som enbart består av recensioner av Aleksandr Kuprins roman Duellen (1906), en skildring av livet i en rysk garnisonsstad.²⁵ Tema nummer 9 (”Religion, tron, religiös, kristendom, skildring…”) är på motsvarande sätt nästan helt kopplat till anmälningar av Gustav Frenssens från tyskan översatta roman om Jesus liv, Hilligenlei (1906).²⁶

Samtidigt som dessa omständigheter avgjort begränsar analysen, har metoden en främmandegörande effekt på så vis att resultaten ändå aktualiserar aspekter som till stor del förbises i Samuelssons analys. Vi har i en tidigare studie betonat att datavisualiseringar av liknande recensionsmaterial uppmärksammat oss på skillnader mellan hur olika genrer recenseras. Men tema-modelleringen understryker också en underskattad truism i studier av litteraturkritik, nämligen de recenserade verkens betydelse för texternas utformning.

Det är slående att de teman som presenteras i Tabell 2 är kopplade till konkreta snarare än abstrakta nivåer i recensionstexterna. Vi har svårt att i dessa teman urskilja något som har att göra med litteraturkritiska diskurser rörande till exempel fördjupad reflektion eller värdeomdömen av recensenterna. Förhållandet erinrar om Michael Riffaterres påpekande om att litteraturkritik inom den akademiska forskningstraditionen är ett metaspråk som är beroende av vad det litterära verket handlar om. Riffaterre beskriver visserligen en komplex samverkan på mimetisk och hermeneutisk nivå, men hans distinktion kan schematiskt användas för att också peka på hur betydelsefull den litterära textens diskurs faktiskt är för den litteraturkritiska textens.²⁷ På samma gång som tema-modelleringen i vårt fall verkar platta ut informationsstrukturer i texterna, aktualiserar också metoden hur recensionerna den här perioden tenderar att kretsa kring informativa utsagor om innehållet i det anmälda verket, genom till exempelvis beskrivningar av handlingen och genom kringinformation om det verk som recenseras.

Även om tema-modelleringen inte på något för oss analytiskt intressant vis förmår särskilja mellan olika textnivåer – till exempel referat och värdeomdömen – skapar modellen genom sitt tillkortakommande ändå en främmandegörande effekt i relation till Samuelssons analys. Eftersom hon intresserar sig för generella mönster i recensionen som genre, hamnar fokus på mer abstrakta och allmänna aspekter av de litteraturkritiska utsagorna. Men som tema-modelleringen understryker, är de anmälda verken en betydande faktor för recensionernas utformning som också påverkar den litteraturkritiska diskursen.

Generativa språkmodeller ger en mer sofistikerad möjlighet att utforska litteraturkritiska diskurser. Men samtidigt som modellerna, vilka Törnberg som sagt förknippar med tredje generationens språkteknologi, tillskrivs en hermeneutisk potential är de behäftade med betydande metodologisk osäkerhet. Även om de kan generera till synes relevanta svar på analytiskt orienterade frågor som påminner om mänskligt skrivande och materialkännedom, bygger resultaten på dolda beräkningsprocesser. Även om framsteg inom reverse engineering börjar ge inblick i de interna beräknings- och tolkningsprocesserna hos stora språkmodeller, kan de fortfarande i stor utsträckning beskrivas som svarta lådor, som är svårtillgängliga för metodologisk utvärdering.²⁸ Motsvarande sak kan visserligen sägas om den BERT-modell som vi använde till tema-modelleringen men som inte riktigt på samma sätt är förknippad med artificiell intelligens.

Det finns skäl att i sammanhanget diskutera AI-begreppet. Sociologen Elena Esposito påpekar att intelligens-metaforen egentligen är missvisande: ”what we can observe in interactions with algorithms is not necessarily an artificial form of intelligence, but rather an artificial form of communication”.²⁹ Esposito betonar: ”algorithms learn not to think but to participate in communication, that is, to (artificially) develop an autonomous perspective that allows them to react appropriately and generate information in their interaction with other participants”.³⁰ Eftersom en generativ modell som GPT alltså inte tänker i mänsklig mening, utan snarare simulerar informationsutbyte och tolkning, är det problematiskt att likställa de resultat som genereras och förmedlas via användarvänliga textgränssnitt med intelligensbaserad informationsanalys.

Vi har i en tidigare studie beskrivit hur GPT-4o genom zero-shot prompting (instruktion utan exempel) kan främmandegöra tidigare forskningsresultat genom att kategorisera vad man för enkelhets skull kan kalla för litteraturkritiska attityder eller värderingsmönster i vårt recensionsmaterial.³¹ Vi utökar här den analysen genom att diskutera resultat från både GPT-4o och en annan modell, Claude 3.7 Sonnet. Vi instruerade båda modellerna att analysera hur recensenter värderade de litterära verken genom en system-prompt (regelverket för hur uppgiften ska utföras) och en användar-prompt (vår specifika förfrågan).³² GPT-4o och Claude 3.7 Sonnet prompt:ades att analysera ”vad som är viktigast för recensenten, inte vad det recenserade verket innehåller”, liksom att identifiera ”recensentens nyckelomdömen, kriterier och reaktioner med beaktande av den tidens kritikideal”. Tabell 3 visar de två modellernas övergripande kategoriseringar, som genereras med ett visst mått av slumpmässighet, inte olikt tema-modelleringen.³³

Till skillnad från tema-modelleringen, förefaller de kategorier som dessa modeller genererar på ett helt annat sätt faktiskt kunna visa värderingsmönster i litteraturkritiken. I kategorierna känner vi också igen diskursiva mönster som Samuelsson tidigare pekat på. Diskursen ”Utveckling och mognad” förefaller speglas i ”Artistic Craft and Development” (GPT-4o), liksom ”Konstnärlighet och äkthet” i kategorier som ”Realism and Authenticity” (GPT-4o) och ”Authenticity and Representation” (Claude 3.7 Sonnet). Konstnärlighet och de värden Samuelsson relaterade till en vurm för romantiska uttryck kan också tänkas avspeglas i kategorierna ”Artistic Craft and Development” (GPT-4o) och ”Poetic Craft and Expression” (Claude 3.7 Sonnet). Likaså uppmärksammas realism och trovärdighet i ”Psychological and Character Depth” (GPT-4o) och ”Psychological Depth and Characterization” (Claude 3.7 Sonnet) och nationalitet i ”National and Cultural Identity” (GPT-4o) och ”National Identity and Cultural Heritage” (Claude 3.7 Sonnet).³⁴

Även om de bearbetningsprocesser som ligger till grund för modellernas resultat är dolda, kan vi se vilka recensioner som är kopplade till kategoriseringarna, liksom de mer specifika underkategorier som dessa är uppbyggda av, samt närläsa recensioner för att kontrollera grunden för hur kategorierna genererats. Vid en påsyn, förefaller det genomgående finnas meningsfulla samband mellan kategorier, underkategorier och recensionstexter. Till exempel inom kategorin ”Artistic Craft and Development” (GPT-4o) återfinns underkategorin ”Artistic Maturity and Growth”, där Oscar Levertins recension av Vilhelm Ekelunds Hafvets stjärna anges som exempel, förmodligen på grund av följande passage:

Om Vilhelm Ekelunds nya lilla diktföljd vill jag fatta mig kort. Den är kanske formellt bättre än sin föregångare, kanske också rikare på ren inspiration, men den liknar dock ”In Candidum” så mycket, att kritiken i sin granskning skulle både i fråga om erkännande och anmärkningar nödgas alldeles upprepa sig själf. Det är knappt tillåtligt för en granskare och ännu mindre för en skald åtminstone i den utsträckning som Vilhelm Ekelund gör det. Man må hålla aldrig så mycket av denna skälfvande och själfulla poesi med dess svala sus av daggstänkta blad, röjande en så äkta skaldegåva — det är dock icke möjligt att blunda för dess enformighet i känsla och uttryckssätt. Man får mot sin vilja och önskan en förnimmelse af, att denna så fint utrustade poet dock visar tendens att stanna i växten, och man börjar tröttna inför en poetisk ynglingaålder, som har så svårt att nå mandomens fasthet och mognad.³⁵

Samuelsson diskuterar just denna recension som ett exempel på utvecklings- och mognadsdiskursen.³⁶ I den meningen skulle man alltså säga att hon och modellen verkar komma fram till samma sak.

Inom kategorin ”Psychological and Character Depth” (GPT-4o) finner man också i underkategorin ”Character Development and Psychological Depth” flera exempel på recensioner som understryker det av Samuelsson påtalade idealet om trovärdiga och ”levande” karaktärer.³⁷ Ett sådant är en anmälan av Sigge Alméns Kumlagården (1906), vars huvudperson sägs ha ”så pass mycket av undantagsmänniska i sig, af snedvridet och ofullgånget nordiskt geni, att han alltid kan hålla oss fast, äfven när hans paradoxer bli alltför blottade på gnista och förnuft och hans liv rymmer någonting helt annat än den tragik författaren velat lägga i det”.³⁸ Gustaf Hellströms roman När mannen vaknar (1905) får däremot kritik för bristande karaktärsutveckling: ”Hjälten gör på stället marsch. Han flyttas icke, berättelsen går i cirkel omkring honom, och när läsaren släpper den unge mannen, vet han inte stort mera om honom än i början af bekantskapen – åtminstone inte det han vill veta, det som författaren lofvat vid presentationen”.³⁹ Även här verkar dock GPT-4o ta fasta på värderingskriteriet, det vill säga att karaktärerna utvecklas under berättelsens gång.

Modellernas kategoriseringar av värderingsmönster i litteraturkritiken verkar alltså kunna omfatta de diskurser som Samuelsson beskriver. Det är dock svårt att avgöra i vilken utsträckning som kategorierna verkligen bygger på innehållet i recensionsmaterialet eller på sannolikhetsbaserade kalkyler. Speglar Tabell 3 faktiska mönster i recensionerna eller förinlärda och schablonmässiga föreställningar om ”typiskt” innehåll i litteraturkritik? Det är inte heller givet hur den exakta innebörden i till exempel kategorin ”Artistic Craft” kan förstås eller vad som mer specifikt avses med exempelvis ”Development” i sammanhanget. För att börja reda ut sådana oklarheter krävs en systematisk närläsning och utvärdering av resultaten. Än mer diffusa ter sig de större kategorierna, som GPT-4o:s ”Human Nature and Intellectual Themes” och Claude 3.7 Sonnets ”Ethics, Identity and Social Insights”. Dessa berör också så många textavsnitt (ca 600–700) att utvärdering genom närläsning blir synnerligen krävande. Även om tredje generationens språkteknologi verkar klara den diskursanalytiska uppgiften betydligt bättre än föregående, kan alltså modellernas framgång bekräftas först genom manuell tolkning.

Trots att de generativa modellerna presenterar vad som förefaller vara analytiskt meningsfulla kategorier, saknar vi alltså insyn i på vilken grund de genererats. Men det går att diskutera i vilken utsträckning som även Samuelssons egen tolkningsprocess är dold, där intuition, förförståelse och kunskaper påverkar analysen utan att kunna helt metodologiskt artikuleras. På sätt och vis kan ju människor framstå lika mycket som svarta lådor som de algoritmer de arbetar med.⁴⁰ Analysen med generativa modeller blixtbelyser på så sätt hur de inre tolkningsmekanismerna hos såväl AI som oss forskare delvis ter sig svårgripbara.

I denna artikel har vi med utgångspunkt i tre generationer av språkteknologi tagit avstamp i Samuelssons tidigare studie av svensk litteraturkritik för att resonera kring AI som litteraturvetenskapligt forskningsverktyg i en bred och sammansatt bemärkelse. Genom en schematisk användning av ordfrekvensanalys, tema-modellering och generativa modeller i fallstudier för att på nytt analysera ett för oss bekant forskningsmaterial, har vi inordnat bruket av AI i en längre kontinuitet och lyft fram metodernas möjligheter och begränsningar för att på olika sätt belysa diskursiva mönster i litterära recensioner.

Vi har visat hur rudimentär ordfrekvensanalys ter sig fyrkantig i sammanhanget på grund av en begränsad hänsyn till språkliga nyanser och kontext. Men vi lyfte samtidigt fram hur det kvantitativa perspektivet påkallar eftertanke om värdet av metodologisk systematik och transparens i litteraturvetenskaplig diskursanalys. Därefter betonade vi en analytisk platthet hos tema-modellering beträffande oförmågan att skilja mellan mer konkreta och abstrakta textnivåer. Likväl satte resultaten fokus på en grundläggande men i litteraturkritikforskning analytiskt underskattad truism, nämligen i vilken utsträckning som recensionstexter består av informativa utsagor om innehållet i det anmälda verket, snarare än fördjupad reflektion och värdeomdömen. Sedan resonerade vi kring hur de generativa modellerna GPT-4o och Claude 3.7 Sonnet delvis verkar kunna belysa litteraturkritiska diskurser motsvarande de Samuelsson tidigare lyft fram. Dock ligger det också en betydande metodologisk osäkerhet i svårigheten att avgöra i vilken utsträckning som dessa resultat faktiskt utgår från abstraktioner av innehållet i det aktuella recensionsmaterialet eller sannolikhetsbaserade beräkningar.

Vidare har vi tagit fasta på begreppet främmandegöring för att visa hur olika generationer av språkteknologi kan komplettera och påbjuda frågor om litteraturvetenskaplig analys. Här är det värt att ha Ingvarssons poäng om hur digitaliseringen förändrar villkoren för akademisk kunskapsproduktion i åtanke, liksom Pipers idé om kvantitativa perspektiv som grund för metodologisk reflektion. Våra analyser har visat hur samspelet mellan automatiserad och manuell analys på olika vis kan främmandegöra tidigare litteraturvetenskapliga resultat men också metoder i allmänhet. Inte minst har vi noterat hur den omtalade problematiken kring generativa modeller som svarta lådor också pekar tillbaka mot mindre transparenta aspekter av mänskliga tolkningsprocesser. Såtillvida förefaller det relevant att i diskussioner om AI inom litteraturvetenskap öppna upp och vidare diskutera denna metodologiska metafor.

Fallstudierna har på olika sätt betonat vikten av materialkännedom för att utvärdera resultaten från olika generationers språkteknologiska analys. Förutsättningen för användning av generativa modeller kan således även i detta hänseende inordnas i en historisk kontinuitet kring AI, såtillvida att också bruket av tidigare generationers frekvensanalys och tema-modellering i litteraturvetenskaplig diskursanalys är beroende av informerade bedömningar. Ser man specifikt till de diskursiva mönster i litteraturkritiken som GPT-4o och Claude 3.7 Sonnet påvisar, krävs mer undersökning om i vilken utsträckning de identifierar faktiska historiska mönster i materialet eller återger generiska klichéer från träningsdata. Således går det att utveckla diskussionen om egenarten hos de kategorier som modellerna genererar genom jämförelser med resultat baserade på recensionsmaterial från andra år som Samuelsson tidigare analyserat. För att motverka problemet med snedvridande träningsdata, skulle det dock krävas mer sofistikerade och resurskrävande åtgärder, som att träna en språkmodell på specifika historiska material, vilket skulle ge ökad kontroll och kontextkänslighet.⁴¹

Eftersom den teknologiska utvecklingen och intresset för AI inom litteraturvetenskapen lär fortgå, går det kanske att föreställa sig en framtid där metodologiska komplikationer som vi berört blir överspelade. Likväl verkar det rimligt att anta att frågor kring vad som händer och borde hända i skärningspunkten mellan datadrivna och traditionella metoder inte bara förskjuts i nya riktningar, utan också kvarstår: vad kan sofistikerade algoritmer göra som inte forskare förmår och vice versa, samt hur kan de fortsätta att berika varandra?

Artikeln tillägnas Jonas Ingvarsson (1966–2025), projektledare för Kritikens nya ordning, vars idéer lagt grund för och fortsatt att inspirera vårt arbete.