English Version
Plataformas de Analytics facilitam a jornada de dados das empresas brasileiras.
A terceira edição deste relatório para o Brasil indica uma saída para um dos principais problemas das empresas brasileiras em sua jornada de dados. Nos últimos anos, muito se tem discutido sobre a importância de as empresas se tornarem orientadas a dados, quais são as possibilidades de criação de vantagens competitivas, e sobre o fato de que a ciência de dados e inteligência artificial (IA) serão chaves para a sobrevivência das empresas. Motivadas por esta tendência, empresas desenvolveram grandes projetos de ciência de dados e investiram grandes somas de recursos na construção de data lakes e pipelines de dados.
No entanto, algumas destas empresas experimentaram a frustação de não atingirem os resultados esperados com os esforços e recursos aplicados. Muitos departamentos de ciência de dados desenvolveram modelos que sequer chegaram a entrar em produção. Dois fatores são preponderantes nestes casos: o primeiro diz respeito à falta de uma clara estratégia de dados, capaz de definir objetivos, prioridades e etapas. O segundo diz respeito a falta de governança de dados nestas organizações. Podemos dizer que diversos analistas e cientistas de dados realizam um trabalho ineficiente quando os registros dos dados estão incompletos, duplicados e presos em “silos de informação”, o que também ocorre quando estes profissionais têm que lidar com complexas interfaces de programação ou não tem grande conhecimento dos mercados e dos negócios para os quais constroem os seus modelos analíticos.
A análise das principais plataformas analíticas mostrou que elas estão sendo desenhadas para responder a estes problemas. No caso das plataformas de embedded analytics, as funcionalidades de auto machine learning tem se popularizado para que analistas de negócios possam construir seus modelos estatísticos (modelos preditivos, de categorização ou construção de cenários) sem a necessidade de escrever complexas linhas de códigos. Adicionalmente, estas plataformas trazem cada vez mais conectores embutidos com as bases de dados de aplicações, de forma a integrar dados de forma simples e rápida.
No campo das plataformas de governança de dados, o ganho de eficiência é ainda maior. Estudos apontam que cientistas de dados passam mais de 80 porcento do seu tempo tratando e corrigindo erros da governança, e apenas 20 porcento realizando análises e construindo modelos estatísticos. As ferramentas de governança de dados permitem que boa parte deste trabalho seja realizado de forma automatizada e com mais precisão. O gerenciamento de dados mestres (MDM – Master Data Management) realiza tarefas de completar registros, excluir dados duplicados e enriquecimento de dados com fontes externas (como a identificação do código postal de clientes, por exemplo). As plataformas permitem o cruzamento de dados de fontes diferentes, uma vez que comportam conectores nativos entre estas fontes e bancos de dados em diferentes formatos.
Algumas destas plataformas permitem a construção de um catálogo, no qual os profissionais podem visualizar todo o espectro de dados disponíveis e, assim, escolher aqueles que devem compor sua modelagem. Esta visualização também permite identificar inconsistências e endereçar ações corretivas. As soluções que incorporam o data fabric vão além, e permitem que correções em registros sejam feitas diretamente nas bases de dados, sem a necessidade de carregar toda a base para se acessar o registro incorreto.
As plataformas se tornaram vitais também em razão da crescente preocupação com segurança e privacidade de dados, permitindo que sejam criadas instâncias de acesso para determinados conjuntos de dados, limitando o acesso a dados sensíveis para determinados profissionais ou departamentos. Na mesma direção, a plataforma também permite o mascaramento destes dados sensíveis, impedindo o vazamento de informações privadas de clientes e evitando penalização judicial para a empresa. Por estas razões, as Analytics Plataform se tornaram peças-chaves das empresas e irão contribuir na solução dos problemas de governança na construção de suas jornadas de dados.
A correta escolha do fornecedor de Analytics Plataforms é um importante passo para que as organizações tenham sucesso na sua jornada de dados e alcancem o tão almejado ganho de eficiência e a construção de vantagens competitivas.
Tendências em Analytics Platforms:
• Algumas empresas analisadas neste estudo apontam na direção da construção de plataformas de dados de ponta-a-ponta, com a totalidade das funcionalidades mencionadas incorporadas em um único ambiente de trabalho, como observado nas empresas Qlik, SAS e Semantix. Outros fornecedores de plataformas se focam em determinado conjunto de funcionalidades e oferecem produtos mais complexos e sofisticados dentro de seu escopo definido. Estes são os casos de Stibo, GoodData e Assesso.
• O estudo deste ano traz duas empresas de origem brasileira concorrendo diretamente com multinacionais, a Assesso e Semantix. Ambas contam com algumas vantagens por serem de origem brasileira, como o conhecimento das necessidades das empresas locais e das adversidades do mercado nacional, e o conhecimento dos formatos de dados usados no país. Outra vantagem diz respeito a custos e contratos em moeda local, que livra seus clientes do risco cambial de contratos em moeda estrangeira com multinacionais. A terceira vantagem é uma maior facilidade de construir uma rede de parceiros implementadores, dada a proximidade geográfica e a rede de relacionamentos locais. Analogamente, vemos que a empresas multinacionais com melhores participações de mercado são aquelas que têm escritórios no Brasil, oferecem documentação e suporte no idioma local, e que conseguiram montar um ecossistema de parceiros com empresas com atuação nacional.
Tendências em Embedded Analytics e Business Analytics Platforms:
• As plataformas vêm adotando funcionalidades de Natural Language Query (NLQ), onde o usuário pode fazer perguntas aos dados usando linguagem natural. Este tipo de funcionalidade em geral é limitado a alguns idiomas.
• As plataformas têm cada vez mais adotado a modelagem de dados usando recursos de interface gráfica, tipo “drag and drop”. O uso de low code/no code é cada vez mais comum. No entanto, elas mantêm a possibilidade de utilização de linhas de código nas linguagens mais usadas, como Python e “R”. A adoção da linguagem “Julia” é ainda uma promessa de boa parte dos fornecedores.
• Plataformas adotam funcionalidades de aprendizado de máquina automatizado, como a possibilidade de fazer previsões de séries históricas e construção de cenários “what if”.
Tendências em Data Governance Platforms:
• Algumas plataformas de governança de dados foram paulatinamente incorporando novas funcionalidades ou desenvolvendo produtos complementares para expandir sua oferta. Um bom exemplo é a Qlik, empresa que se consolidou no mercado com uma plataforma de BI e visualização de dados e, a partir daí, desenvolveu produtos complementares de integração e governança.
• Data Fabric é uma tendência que pode levar as plataformas de governança para um novo patamar, uma vez que possibilita que os times de DataOps visualizem um panorama completo de dados das organizações e permite um gerenciamento mais preciso de todo o conjunto de dados.