Como testamos
Esta página explica como George testa os serviços que comparamos: como as contas de teste são abertas, o que registramos e os limites de cada resultado.
Última atualização:
O que testamos
Testamos o que você mesmo faria depois de alugar um serviço: configurá-lo, colocá-lo para fazer um trabalho real, medi-lo e anotar o que dá errado. Cada resultado informa a data, o provedor, o plano e as versões usadas na medição.
Nunca descrevemos um teste que não aconteceu. Quando uma página afirma um fato que não medimos, ela cita a fonte, como a página de preços do próprio provedor, e também a data em que a lemos.
Como abrimos as contas de teste
George abre cada conta de teste pessoalmente, como um cliente comum, direto no site do próprio provedor. Ele nunca se cadastra pelos botões Visitar nem por qualquer outro link do nosso site.
O que registramos
Para cada teste, mantemos um registro com:
- a data e a hora de cada execução
- o provedor, o plano e a região do data center
- o sistema operacional e a versão de cada aplicativo e modelo
- as configurações que alteramos
- os comandos que executamos e a saída bruta deles
Um artigo só mostra um quadro “Como testamos” quando existe esse registro.
Até um ambiente de teste ser executado, o artigo se baseia em dados publicados e cita cada fonte com a data.
Como medimos velocidade e memória
Uma única execução pode ter sorte ou azar, então cada velocidade que publicamos é a mediana de pelo menos 3 execuções: o valor do meio quando os resultados são ordenados. Registramos o uso de memória e de processador durante todo o teste, em vez de ler uma vez só.
Os limites de cada resultado
Cada resultado informa seus limites, geralmente uma região, uma semana e uma versão de cada aplicativo ou modelo. Um provedor pode mudar o hardware, os preços ou o software depois do nosso teste, por isso cada resultado tem data.
Repetimos cada ambiente de teste uma vez por ano, e antes se uma nova versão ou um plano alterado puder mudar o resultado.
Capturas de tela
Nossas capturas de tela vêm só das contas do próprio George. Antes de publicar uma, nós a recortamos para mostrar só o que importa e removemos dados pessoais, endereços IP, chaves e endereços de e-mail.
Quem faz os testes
George faz todos os testes. Ele abre as contas, liga e desliga os servidores, executa os scripts de teste e guarda a saída bruta. Saiba mais sobre ele em Sobre nós.
Como usamos ferramentas de IA
Ferramentas de IA nos ajudam na pesquisa, na redação e na checagem de fatos. George faz cada teste e aprova cada artigo antes da publicação.
Nossos ambientes de teste
Um ambiente de teste é um conjunto de servidores ou serviços alugados e os testes que executamos neles. Vários artigos compartilham cada ambiente, e cada quadro “Como testamos” aponta para o ambiente que usou.
T1 Ambiente de teste de agentes
Previsto: os resultados vão aparecer aqui com as datas.
Alugamos servidores e planos gerenciados para agentes de IA, cada um por um mês. Cada servidor roda n8n, OpenClaw e Hermes Agent com os mesmos cinco workflows e três tarefas de agente.
Registramos o uso de memória e de processador a cada 5 minutos durante 7 dias e verificamos se os webhooks chegam. Também escaneamos nossos próprios servidores de fora em busca de portas abertas e depois testamos uma atualização, uma reversão e uma restauração a partir de um backup.
T2 Ambiente de teste de modelos em CPU
Previsto: os resultados vão aparecer aqui com as datas.
Rodamos pequenos modelos abertos no processador, sem GPU. Servidores com 8, 16 e 32 GB de memória rodam o Ollama com quatro modelos pequenos, cada um em dois níveis de quantização. Medimos os tokens por segundo e o uso de memória.
T3 Ambiente de teste de GPU
Previsto: os resultados vão aparecer aqui com as datas.
Alugamos GPUs com 24, 48 e 80 GB de memória e executamos o mesmo script de benchmark em cada uma. Ele roda modelos de três tamanhos (8B, de 27B a 32B, e 70B ou gpt-oss-120b) em dois motores: llama.cpp (ou Ollama) e vLLM.
Testamos cada modelo com um usuário e depois com oito usuários ao mesmo tempo, e repetimos cada execução três vezes.
T4 Ambiente de teste de ajuste fino
Previsto: os resultados vão aparecer aqui com as datas.
Fazemos ajuste fino LoRA e QLoRA com o Unsloth em modelos de 8B, de 27B a 32B e de 70B, todos com o mesmo conjunto de dados. Depois comparamos as respostas a 20 prompts de teste antes e depois do treinamento.
T5 Ambiente de teste de chatbots
Previsto: os resultados vão aparecer aqui com as datas.
Damos a vários serviços de chatbot de documentos os mesmos 30 documentos e as mesmas 40 perguntas, para comparar as respostas lado a lado.
T6 Ambiente de teste de imagem e vídeo
Previsto: os resultados vão aparecer aqui com as datas.
Um workflow fixo do ComfyUI cria 100 imagens e alguns clipes curtos. Ele roda em uma GPU alugada e em dois serviços de ComfyUI usados no navegador, um deles cobrado por hora.
Dois modelos de vídeo rodam em dois tipos de GPU, e cronometramos um treinamento LoRA do Flux. Registramos o pico de memória de GPU de cada tarefa.
T7 Servidor GPU mensal
Previsto: os resultados vão aparecer aqui com as datas.
Alugamos um servidor GPU por mês e cronometramos quanto tempo o pedido leva para ficar pronto. Depois executamos o mesmo script de benchmark do ambiente T3.
T8 Controle de gastos
Previsto: os resultados vão aparecer aqui com as datas.
Nas contas abertas para os ambientes T1 e T3, configuramos o limite de gastos, o alerta ou o saldo pré-pago de cada provedor. Depois verificamos se os gastos realmente param ao atingir um limite pequeno.
Testes que publicamos
Ainda não publicamos nenhum teste.