Does anyone else experience the same issue I'm having with Google's Gemma-7B on Ollama? Sometimes, it even struggles with spelling simple words in English and creates nonsensical words! This is not what I expected. #LLM #ML #AI #Ollama

I've been very much enjoying running an LLLM (Local Large Language Model) on my Mac with #Ollama the last week or so, asking it random questions without taking up copious amounts of someone else's resources, and leters of water in some datacentre somewhere. My Mac has fans but even with a complex question, they barely bother to spin. I can send it images as well, and the responses are certainly up there with GPT4, so it makes me happy.

No soy el mayor fan de la #IA ni mucho menos (consideraciones éticas aparte creo que hay todavía mucho hype y pocas nueces), pero también pienso que una parte de todo lo que está saliendo en este boom terminará quedándose a la larga. Me interesa sobre todo cacharrear con las capacidades de una instancia privada en local y he terminado montando un proyectillo que me he encontrado por Github para construir un pequeño chatbot para analizar documentos PDF construido sobre #ollama como motor y Mistral como #LLM. Aunque ya le he pillado cierta tendencia al invent es una herramienta curiosa e incluso potencialmente útil. Es relativamente sencillo de montar una vez superas el infierno de dependencias de Python que te exige downgradear algún módulo pero consume recursos que no veas. Un Mac Mini con un M2 sufre ante cada pregunta. Ha sido también útil para entender los recursos que exige una IA generativa con un LLM modesto y, una vez más, sospechar de quien te dé esto gratis como servicio. Si tenéis curiosidad por probarlo vosotros mismos, aquí tenéis el proyecto que me he clonado: https://github.com/SonicWarrior1/pdfchat