Como usar o GPT local e grátis!

Olá!

Já pensou em rodar um modelo LLM (cujo uso mais comum hoje é chat GPT) localmente sem pagar nada totalmente FREE?
Não é um sonho! Hoje com o Ollama + o Open webUI é totalmente possível e rápido (Sério menos de 2 minutinhos)

Instalação:

Linux

curl -fsSL https://ollama.com/install.sh | sh

MAC

Basta instalar baixando pelo site https://ollama.com/

Após a instalação rodar o serviço:

ollama run llama3

Aqui você já é capaz de fazer conversação com o modelo direto do console.Liga interface gráfica:
Recomendo não alterar as portas, então tomem cuidado com problema de bind de port, caso já esteja sendo usada.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Carregando GIF...

via GIPHY