A migração da Neurotech para uma arquitetura baseada em Kubernetes usando a tecnologia Amazon EKS foi um passo crucial para aprimorar a escalabilidade e a eficiência de suas aplicações de análise de risco. Os principais desafios enfrentados durante essa implementação incluíram a necessidade de reestruturar os aplicativos existentes para serem compatíveis com contêineres e Kubernetes, além de garantir a migração suave dos modelos de aprendizado de máquina e dados sensíveis. A sincronização entre a equipe de desenvolvimento e operações também foi essencial, exigindo uma mudança cultural e processual na empresa. Os fatores críticos de sucesso incluíram uma estratégia sólida de migração, testes rigorosos para garantir a integridade dos modelos de IA, treinamento da equipe e a escolha acertada da tecnologia, como o Amazon EKS, para oferecer a infraestrutura escalável e confiável necessária.
A implementação do Kubernetes e Amazon EKS permitiu que a Neurotech alcançasse maior agilidade, escalabilidade e confiabilidade em suas aplicações de análise de risco, capacitando a empresa a atender melhor às demandas do mercado e oferecer serviços mais robustos aos clientes.
Descrição do Caso
O que foi proposto:
Este estudo de caso inclui os detalhes relacionados ao projeto de implementação do Amazon EKS:
Descrição geral da solução:
A solução implementada pela Neurotech para migrar suas aplicações e modelos de aprendizado de máquina para uma arquitetura baseada em Kubernetes com a tecnologia Amazon EKS foi abrangente e eficaz. Aqui está uma descrição geral dos principais componentes:
- Amazon EKS (Elastic Kubernetes Service): O Amazon EKS é um serviço gerenciado que facilita a implantação, gerenciamento e escalabilidade de clusters Kubernetes. A Neurotech utilizou o EKS como a base da infraestrutura de contêineres, aproveitando a capacidade de orquestração e escalabilidade do Kubernetes, sem se preocupar com a complexidade da gestão do cluster.
- Terraform: O Terraform foi fundamental para a infraestrutura como código (IaC), permitindo à Neurotech definir e provisionar sua infraestrutura AWS de maneira declarativa. Isso garantiu que a infraestrutura estivesse alinhada com as necessidades da aplicação, sendo facilmente reprodutível e escalável.
- CI/CD com ArgoCD e Tekton: A Neurotech implementou um pipeline de CI/CD (Integração Contínua/Entrega Contínua) para automatizar a implantação de suas aplicações e modelos no cluster EKS. ArgoCD foi usado para a implantação de aplicações e gerenciamento de configuração, enquanto o Tekton facilitou a automatização de tarefas de compilação e implantação. Essa abordagem ajudou a garantir a consistência e a agilidade nas atualizações e implantações.
- Observabilidade: A observabilidade é crítica em um ambiente Kubernetes. A Neurotech implementou ferramentas de monitoramento, como Prometheus para coleta de métricas e Grafana para visualização, para acompanhar o desempenho do cluster e das aplicações. Além disso, logs e rastreamento (tracing) foram configurados para garantir a capacidade de solucionar problemas de maneira eficaz e monitorar o comportamento das aplicações em execução.
Essa solução abrangente permitiu que a Neurotech migrasse com sucesso suas aplicações de análise de risco para uma arquitetura baseada em Kubernetes no Amazon EKS. A automação proporcionada pelo Terraform, CI/CD com ArgoCD e Tekton, juntamente com a observabilidade, contribuiu para uma implantação e operação eficazes, garantindo que a empresa pudesse aproveitar os benefícios de escalabilidade e eficiência do Kubernetes sem comprometer a confiabilidade e o desempenho de suas aplicações críticas.
Produtos usados nesta solução:
- Amazon EKS;
- Hashicorp Terraform;
- ArgoCD;
- Tekton.
Como outros serviços AWS foram integrados nesta solução:
- VPC: No que tange a conectividade, foi provisionada uma VPC e subnets privadas para dispersão das instâncias;
- CloudWatch: O serviço CloudWatch permite fornecer infraestrutura e monitoramento de serviços por meio de painéis e também alertas de eventos;
- GuardDuty: O serviço GuardDuty é capaz de apoiar o processo de monitoramento, ajudando a fornecer insights ao nosso NOC (Centro de Operações de Rede) sobre como gerenciar ameaças e problemas de segurança;
- Cloudfront: Rede distribuída de conteúdo para caching e servir objetos estáticos;
- S3: Storage de objetos utilizado para armazenamento dos dados BLOB, anteriormente armazenados no SGBD.
Problemas e preocupações do cliente que foram superadas:
Durante a migração para uma arquitetura baseada em Kubernetes com o Amazon EKS, a Neurotech enfrentou vários problemas e preocupações do cliente que foram superados com sucesso:
- Complexidade da Migração: A migração de aplicações e modelos de aprendizado de máquina para uma arquitetura de contêineres e Kubernetes é intrinsecamente complexa. A equipe da Neurotech superou esse desafio por meio de um planejamento meticuloso e da automação da infraestrutura com o Terraform, garantindo que a migração ocorresse de maneira controlada e escalável.
- Integridade dos Modelos de IA: A Neurotech lida com análise de risco, o que significa que a integridade dos modelos de IA é crítica. Para garantir que os modelos não fossem comprometidos durante a migração, foram realizados testes rigorosos e verificações de qualidade para confirmar que os modelos funcionavam conforme o esperado na nova infraestrutura.
- Segurança de Dados Sensíveis: A empresa lidava com dados sensíveis, o que levantou preocupações significativas de segurança. A Neurotech implementou medidas de segurança apropriadas, como políticas de acesso, criptografia e isolamento de dados para garantir que os dados sensíveis fossem protegidos em conformidade com os padrões regulatórios.
- Sincronização de Equipe e Processos: A mudança para uma cultura DevOps e a colaboração eficaz entre equipes de desenvolvimento e operações podem ser desafios em migrações desse tipo. A Neurotech superou isso promovendo treinamento interno, incentivando a colaboração e adotando práticas de CI/CD, como ArgoCD e Tekton, para automatizar o ciclo de vida das aplicações.
- Disponibilidade e Observabilidade: Garantir que as aplicações fossem altamente disponíveis e observáveis em um ambiente Kubernetes era uma prioridade. A implementação de ferramentas de monitoramento, rastreamento e logs assegurou que a Neurotech pudesse identificar problemas rapidamente e manter a qualidade de serviço esperada pelos clientes.
No geral, a Neurotech conseguiu superar com sucesso esses problemas e preocupações do cliente por meio de uma abordagem cuidadosa, automação eficaz e adoção de práticas de segurança e observabilidade sólidas. Isso permitiu que a empresa migrasse para a nova arquitetura sem interrupções significativas em suas operações de análise de risco, fornecendo um serviço aprimorado aos clientes.
Resultados alcançados:
Os resultados alcançados pela Neurotech após a migração de suas aplicações e modelos de aprendizado de máquina para uma arquitetura baseada em Kubernetes com o Amazon EKS incluem:
- Escala e Elasticidade: A empresa conseguiu escalar suas aplicações de maneira mais eficiente em resposta às demandas variáveis dos clientes. Com o Kubernetes e o Amazon EKS, a Neurotech pode dimensionar automaticamente recursos de computação de acordo com as cargas de trabalho, garantindo alta disponibilidade e melhorando a capacidade de atender picos de demanda.
- Eficiência Operacional: A automação proporcionada pela infraestrutura como código (Terraform) e a implementação de práticas de CI/CD (ArgoCD e Tekton) reduziram significativamente a sobrecarga operacional. Isso permitiu à equipe da Neurotech concentrar mais tempo e recursos no desenvolvimento de recursos e melhorias para suas aplicações.
- Maior Confiabilidade: Com a observabilidade melhorada e o monitoramento constante da infraestrutura e das aplicações, a Neurotech alcançou maior confiabilidade em suas operações. Problemas podem ser identificados e resolvidos mais rapidamente, minimizando o impacto sobre os clientes.
- Flexibilidade e Agilidade: A arquitetura baseada em Kubernetes tornou as aplicações mais flexíveis e fáceis de atualizar. As mudanças de código podem ser implementadas de forma rápida e segura, permitindo que a Neurotech acompanhe as inovações tecnológicas e as necessidades do mercado de forma ágil.
- Segurança Reforçada: As medidas de segurança implementadas, como políticas de acesso, criptografia e isolamento de dados, fortaleceram a proteção de dados sensíveis. A Neurotech pode operar em conformidade com regulamentações de segurança e privacidade, proporcionando confiança aos clientes.
- Redução de Custos: Embora a migração inicial tenha exigido investimentos significativos, a eficiência operacional e a capacidade de dimensionamento adequado permitiram que a Neurotech otimizasse seus custos operacionais a longo prazo. Isso é especialmente valioso em um cenário de análise de risco, onde a eficiência é crítica.
Em resumo, a migração bem-sucedida da Neurotech para uma arquitetura baseada em Kubernetes com o Amazon EKS resultou em uma melhoria significativa em escalabilidade, eficiência operacional, confiabilidade e segurança. A empresa agora está mais bem posicionada para atender às demandas de seus clientes, inovar em seus serviços e enfrentar os desafios do mercado de análise de risco com maior agilidade e eficácia.
Lições aprendidas:
- A implementação de serviços AWS nos permitiu focar mais nos aspectos de negócios do projeto;
- Embora o planejamento de projetos como esse seja importante, a necessidade de experimentação por parte do cliente mostrou-se fundamental. Neste sentido, o uso da AWS habilita uma rápida prototipação de arquiteturas;
- Usar a estrutura AWS Well Architected como uma referência nos ajuda a deixar claro para o cliente o valor de um bom parceiro de serviço.