|||
Jeg har prøvet kræfter med Mistral AI, der er ganske anvendelig i det daglige – selv med en gratis konto – men som ikke helt kan klare sig mod de store…endnu.
Det franske AI-firma Mistral har lavet adskillige LLM’er, og naturligvis også en chatbot – der hedder Le Chat.
You know, because of the metric system.
Den franske chatbot
Inspireret af den meget snak om at søge alternativer til de amerikanske tjenester besluttede jeg mig for at se om Le Chat kunne bruges i stedet for ChatGPT, Claude, Gemini og hvad de nu ellers hedder.
Jeg begyndte med den gratis udgave fra Mistral, der faktisk i første omgang var ganske overbevisende.
Den skrev fine tekster, svarede relativt præcist på mine spørgsmål og imponerede med de såkaldte flash-svar, som lynhurtigt giver 3-4 punkter med de vigtigste oplysninger.
Min oplevelse var dog, at Le Chat sloges lidt med mere komplekse spørgsmål, og så virker tjenesten afgjort ikke så poleret som de amerikanske.
Svarene føltes ofte lidt for kortfattede, og der manglede generelt detaljer. Det blev for abstrakt og føltes som “gammeldaws LLM”.
En fin ting ved Le Chat er at den giver links til kilder, men jeg oplevede flere bugs(?) hvor kilderne var nummeret op til 7, men jeg kun kunne se nummer 5 og 7.
Værst gik det, da jeg bad Le Chat om at lave en analyse af prisudviklingen på SSD’er med en graf.
“Lav en oversigt over hvordan priserne på SSD-diske har udviklet sig fra 2010-2025 og lav en graf. Udpeg de vigtigste teknologiske, politiske eller kommercielle faktorer som har ført til de største prisændringer i perioden.”
Her måtte jeg påpege flere selvmodsigelser i svaret, hvor grafen blandt andet viste noget andet end den prisudvikling der blev beskrevet i teksten. Den fortalte hvordan bla. Covid fik priserne til at stige, men lavede en graf hvor priserne faldt også i 2020-21.
Jeg forsøgte mig også kortvarigt med Pro-udgaven, men oplevede ikke væsentlige forbedringer på mine prompts, så jeg valgte hurtigt at stoppe igen (inden en ny måneds abonnement gik igang).
For komplethedens skyld lavede jeg også et par sammenligninger med et lille udvalg af de amerikanske modeller jeg havde adgang til.
Det var absoLUT ikke nogen udtømmende eller videnskabelig test, men bare en times tid med forskellige prompts og justeringer gav mig dog en vis fornemmelse af Le Chats niveau.
Vær opmærksom på, at jeg ikke har brugt meget tid på at sikre mig at modellerne var matchet korrekt mod hinanden ift. niveau og specialisering, jeg tog bare dem jeg lige havde adgang til…
Jeg har heller ikke brugt nævneværdig tid på at faktatjekke, udover at hoppe hurtigt ind på nogle af kildehenvisninger for at danne mig et indtryk af hvor de forskellige chatbots har fundet deres informationer.
Jeg var mere interesseret i formatet af outputtet end de konkrete spørgsmål og svar.
Jeg gav denne forespørgsel til Claude, ChatGPT, Perplexity og Gemini:
“Hvad er de tre største kilder til CO2-udledning i Danmark i 2025, og hvilke konkrete tiltag fra den danske regering har reduceret udledningen mest markant de seneste 5 år? Inkluder statistikker og kildehenvisninger.”
Og her er i stikordsform min vurdering af svarene, der kan ses i deres fulde længde via links.
De andre svarede forskelligt, men for det meste ret overbevisende – og noget mere uddybende end Le chat.
Pro-modellerne (som jeg brugte via via Perplexity) gik meget mere i dybden.
Det er som sagt langt fra en rigid test, men hvad angår Le Chat, så var jeg altså lidt skuffet, på trods af indledende optimisme. For selvom den franske chatbot altså sagtens kan bruges i hverdagen, så fik jeg for det meste en del mere ud af konkurrenterne.
Jeg synes dog jeg fik nogle fine indtryk at arbejde videre med – og jeg tror jeg skal blive bedre til løbende at tjekke forskellige modeller, inklusive Le Chat, som jeg håber (og regner med) bare bliver bedre med tiden…
