Teste DeepSeek R1 usando Raspberry Pi 5 vs Jetson Orin Nano vs Mac

Modelos de IA executados localmente podem revelar insights incríveis sobre custo, desempenho e conveniência. Em seu último explicador, Joyce Lin examina como o DeepSeek R1, um modelo de IA de 1,5 bilhão de parâmetros focado em IA, funciona em três dispositivos: um Raspberry Pi 5 de US$ 80, um Nvidia Jetson Orin Nano de US$ 250 e um MacBook Air M3 de US$ 1.000. Usando o sistema Olama para configuração e testes consecutivos, o experimento destaca grandes diferenças na velocidade de processamento, com o MacBook Air atingindo notáveis ​​72 chips por segundo em comparação com os modestos 9 chips por segundo do Raspberry Pi. Apesar dessas diferenças, o modelo manteve uma precisão consistente das tarefas em todos os dispositivos, destacando sua robustez mesmo com hardware de orçamento.

Explore como cada dispositivo equilibra custos e recursos, desde o alcance do Pi para amadores até o design de IA do Jetson e o desempenho de um MacBook premium. Aprenda como técnicas de quantização como Q4 e Q8 podem otimizar um modelo de configuração com recursos limitados e considere como essas descobertas podem ajudar seus projetos de IA. Esteja você experimentando dentro do orçamento ou otimizando a velocidade, este detalhamento oferece maneiras práticas de implementar IA no local.

O que é DeepSeekR1?

DeepSeek R1 é um modelo compacto de IA projetado especificamente para tarefas de raciocínio, como resolução de problemas matemáticos, geração de código e resolução de quebra-cabeças lógicos. Com 1,5 bilhão de parâmetros, ele atinge um equilíbrio entre eficiência computacional e desempenho de tarefas. Devido ao seu tamanho relativamente pequeno, ele pode ser executado em dispositivos com RAM limitada, mantendo uma velocidade aceitável. Lançado sob a licença MIT, está disponível gratuitamente para desenvolvedores e pesquisadores, tornando-se uma ferramenta prática para uma ampla gama de aplicações. O modelo é otimizado para tarefas de inferência, tornando-o particularmente adequado para implantações locais, pois oferece flexibilidade em diferentes configurações de hardware.

Dispositivos: Vários custos e capacidades

O experimento avaliou o DeepSeek R1 em três dispositivos, cada um representando um nível diferente de preço e qualidade. Esses dispositivos destacam a variedade de opções de hardware para executar modelos de IA localmente:

• Framboesa Pi 5 ($ 80): Um dispositivo básico muito acessível. Embora seu poder computacional seja limitado, ele mostra que os modelos de IA podem ser executados em hardware econômico, tornando-o uma ótima opção para iniciantes e amadores.
• Nvidia Jetson Orin Nano ($ 250): Um dispositivo intermediário projetado especificamente para cargas de trabalho de IA. Equipado com GPU e núcleos de processamento neural, oferece uma combinação equilibrada de custo e desempenho adequada para aplicações de IA mais exigentes.
• MacBook Air M3 (US$ 1.000): Laptop premium com hardware avançado. Ele oferece o desempenho mais rápido entre os três dispositivos, tornando-o ideal para desenvolvedores que precisam de processamento em alta velocidade de tarefas complexas.

Descubra mais informações sobre o DeepSeek em nossos artigos anteriores.

Como o experimento foi conduzido

Para garantir uma comparação justa, todos os dispositivos seguiram o mesmo processo de configuração. A estrutura Olama, uma ferramenta de código aberto para implantação de modelos de inteligência artificial, foi usada para instalar e executar o DeepSeek R1. Prompts e configurações idênticas foram usadas para avaliar diretamente o desempenho e a usabilidade. Essa abordagem padronizada garantiu que os resultados refletissem os recursos inerentes de cada dispositivo, em vez de diferenças na instalação ou configuração.

Resultados de desempenho: a velocidade é importante

O experimento revelou grandes diferenças na velocidade de inferência entre dispositivos, destacando o impacto dos recursos de hardware no desempenho:

• MacBook Air M3: O desempenho mais rápido, atingindo velocidade de processamento de 72 tokens por segundo. Isso o torna ideal para aplicações em tempo real e tarefas de raciocínio complexas onde a velocidade é crítica.
• Nvidia Jetson Música Nano: A taxa de transferência média relatada é de 22 tokens por segundo. Embora seja mais lento que o MacBook, continua a ser uma escolha prática para muitas aplicações de IA, oferecendo um bom equilíbrio entre preço e capacidades.
• Framboesa Pi 5: Dispositivo mais lento processando 9 tokens por segundo. Apesar da sua velocidade limitada, executou o modelo com sucesso, demonstrando o seu potencial como plataforma de baixo custo para experimentação e aprendizagem de IA.

Precisão da tarefa: resultados consistentes em todos os dispositivos

O DeepSeek R1 foi testado em uma variedade de tarefas de raciocínio, incluindo resolução de problemas matemáticos, geração de código e resolução de quebra-cabeças lógicos. A saída foi a mesma em todos os três dispositivos, mas devido à natureza probabilística dos padrões de fala, houve apenas pequenas diferenças. A principal diferença foi o tempo necessário para gerar respostas, com o MacBook Air superando consistentemente outros dispositivos em termos de velocidade. Esta consistência de precisão da tarefa sublinha a robustez do modelo, independentemente do hardware utilizado.

Custo e desempenho: encontrando o equipamento certo

A experiência destaca as compensações entre preço e desempenho, fornecendo insights sobre qual dispositivo pode ser melhor para diferentes usuários:

• Framboesa Pi 5: Ideal para iniciantes, amadores ou com orçamento limitado. Embora o seu desempenho seja limitado, fornece uma plataforma acessível para aprender e experimentar IA.
• Nvidia Jetson Música Nano: Uma escolha equilibrada para usuários que procuram um desempenho razoável a um preço moderado. É perfeito para muitos projetos de IA sem exigir um grande investimento financeiro.
• MacBook Air M3: Um dispositivo premium perfeito para desenvolvedores que já possuem hardware ou precisam de mais velocidade de processamento para tarefas complexas. Seu alto desempenho justifica seu preço premium para quem tem requisitos avançados.

Escalabilidade e flexibilidade: além do básico

DeepSeek R1 oferece suporte a tecnologias avançadas, como quantização Q4 e Q8, que melhoram o desempenho de dispositivos com recursos de hardware limitados. Esses métodos permitem que o modelo se adapte a diversas configurações de hardware, tornando-o mais versátil para usuários com diferentes necessidades. Embora este experimento tenha se concentrado em um modelo de 1,5 bilhão de parâmetros, modelos maiores, como o Mistl 7B ou o Llama 3 8B, oferecem capacidades de raciocínio aprimoradas. No entanto, esses modelos maiores possuem requisitos computacionais mais elevados, exigindo hardware mais potente. Essa escalabilidade garante que os usuários possam adaptar suas implantações de IA para atender a requisitos e restrições específicas.

Principais conclusões

Este experimento demonstra a capacidade de executar modelos de IA in situ em uma variedade de hardware. Quer você seja um iniciante explorando IA com orçamento limitado ou um desenvolvedor em busca de alto desempenho, este é o dispositivo para você. Em última análise, a escolha depende de fatores como orçamento, requisitos de desempenho e casos de uso pretendidos. O tamanho compacto, a natureza de código aberto e a otimização para tarefas de inferência do DeepSeek R1 tornam-no uma ferramenta versátil para explorar o potencial da IA ​​em dispositivos nativos. A flexibilidade e a escalabilidade permitem que os usuários experimentem, inovem e implantem soluções de IA adaptadas às suas circunstâncias únicas.

Crédito de mídia: Joyce Lin

Arquivado em: IA, principais notícias

Divulgação: Alguns de nossos artigos contêm links afiliados. Se você comprar algo por meio de um desses links, o Geeky Gadgets poderá ganhar uma comissão de afiliado. Conheça nossa política de divulgação.