A Databricks, empresa de dados e IA, anuncia o lançamento do Databricks AI/BI, novo produto de business intelligence (BI) que visa democratizar análises e insights para todos dentro das organizações.
O Databricks AI/BI oferece duas experiências complementares: o Dashboards, uma interface low-code alimentada por IA para criar e distribuir dashboards rápidos e interativos; e o Genie, uma interface de conversa desenvolvida para responder perguntas específicas (ad-hoc) e de continuidade usando uma linguagem natural. Ambos são movidos por um sistema de IA composto, que aprende continuamente a partir do uso em todo o stack de dados das companhias, incluindo pipelines de ETL, linhagem e outras formas de consulta. Isso permite que o AI/BI responda a questões complexas de forma precisa e automática, sem a necessidade de configuração ou modelação prévia, algo associado a ferramentas convencionais.
O AI/BI marca um passo significativo em direção ao verdadeiro BI self-service, expandindo substancialmente os tipos de análise que usuários comuns podem fazer por meio de uma abordagem ‘AI-first’. A inteligência do AI/BI é possibilitada pela Plataforma de Inteligência de Dados da Databricks, integrada nativamente para fornecer uma governança unificada, linhagem, compartilhamento seguro e desempenho rápido para dados de todos os tamanhos.
BI self-service por meio da IA generativa
Atualmente, as ferramentas de BI permitem que as organizações forneçam acesso básico a dados por meio de relatórios e dashboards, mas elas só conseguem responder às perguntas específicas para as quais foram projetadas. Mudanças nos dados ou nos parâmetros do negócio constantemente geram perguntas que exigem a expertise de cientistas e analistas de dados. Recentemente, o mercado de BI tem buscado uma solução para esse problema na IA generativa, adicionando grandes modelos de linguagem (LLMs) ao stack convencional de BI. Entretanto, essas tentativas têm deixado a desejar no mundo real. A abordagem de resolver esse problema ao passar um conjunto de perguntas em linguagem natural para os LLMs a fim de gerar um plano de execução para respondê-las é fundamentalmente limitada, pois os casos de uso do mundo real estão repletos de perguntas comerciais complexas, dados confusos e semânticas mal definidas. De forma geral, essas soluções usando a IA “como um adicional” podem fornecer demonstrações convincentes, mas são incapazes de lidar com perguntas e dados reais.
“Uma solução de BI verdadeiramente inteligente precisa compreender as semânticas e nuances únicas de um negócio para responder efetivamente às perguntas dos usuários”, afirma o cofundador e CEO da Databricks, Ali Ghodsi. “Acreditamos que isso exige uma abordagem diferente de como softwares de BI foram desenvolvidos no passado — uma que coloque um sistema de IA no centro da arquitetura e que seja projetada para aproveitar os pontos fortes da IA, além de complementar as fraquezas para enfrentar os desafios de compreender e aprender com essas nuances. O lançamento do AI/BI é um passo em direção à construção desse sistema”.
Além dos LLMs bolt-on: AI/BI é um sistema composto de IA para análises
No núcleo do AI/BI há um sistema composto de Inteligência Artificial que utiliza um conjunto de agentes de IA para desvendar questões de negócios e gerar respostas úteis. Cada agente é responsável por uma tarefa específica, porém importante, como planejamento, geração de SQL, explicação, visualização e certificação de resultados. Esses agentes são apoiados por outros componentes, como um subsistema de classificação de respostas e um índice vetorial. Juntos, eles proporcionam capacidades de raciocínio muito além de qualquer modelo monolítico individual.
A solução foi projetada para aprender continuamente e melhorar seu desempenho com base no feedback humano. Por exemplo, se receber a informação de que um cliente foi desativado, o AI/BI não só usará esse conhecimento para responder a consultas semelhantes (por exemplo, clientes desativados em EMEA versus APJ), mas também para calcular a taxa de churn ou inferir o significado de clientes retidos. O AI/BI mantém esse conhecimento além de uma análise ou conversa específica, tornando-se cada vez melhor, assim como um analista humano. O AI/BI também aprende a partir de outras informações sobre os dados de uma organização na plataforma Databricks, como pipelines de ETL, linhagem, estatísticas de popularidade e outras consultas sobre os dados.
O sistema oferece duas interfaces complementares:
- AI/BI Dashboards: solução de dashboarding low-code, alimentada por IA, que inclui as capacidades convencionais de BI que os usuários esperam para responder a um conjunto fixo de questões comerciais;
- AI/BI Genie: uma interface de conversação que pode continuamente entender dados subjacentes e semântica com base no feedback humano, e que pode responder a um conjunto muito mais amplo de questões comerciais com base nas suas capacidades de raciocínio, ao mesmo tempo que fornece respostas certificadas para padrões de consulta especificados pelas equipas de dados.
O AI/BI foi construído na Plataforma de Inteligência de Dados e está totalmente integrado a ela. Seus benefícios incluem:
- Governança e linhagem unificadas: O AI/BI está profundamente integrado ao Databricks Unity Catalog. Ele segue a mesma estrutura de governança e todas as políticas globais definidas pelos administradores. E graças à capacidade de linhagem do Unity Catalog, os produtores ou administradores de dados podem observar como os seus assets de dados são utilizados no AI/BI, e os usuários finais podem confiar mais nas suas análises, já que podem rastrear as origens dos seus conjuntos de dados desde a inserção deles.
- Compartilhamento fácil, sem novas licenças de usuário: O AI/BI é incorporado diretamente na plataforma IAM da Databricks, que se integra diretamente com IDPs como Entra AD ou Okta, para permitir um compartilhamento seguro.
- Preço-performance líder no setor: O AI/BI está totalmente integrado aos data warehouses SQL da Databricks e ao mecanismo Photon, que engloba otimizações exclusivas para fornecer interações de alto desempenho. Ele fornece uma relação de custo-performance líder no que diz respeito a volumes de dados, de megabytes a petabytes.
- Não é necessário extrair dados: Consequentemente, o AI/BI não requer a extração dos conjuntos de dados estratégicos para um dispositivo separado de BI, o que leva a uma maior vitalidade dos dados, bem como a uma gestão mais simples.
“Na SEGA, nosso foco é entreter o mundo com experiências criativas e inovadoras, e a inteligência de dados desempenha um papel importante para alcançarmos esse objetivo. Temos usado o Databricks AI/BI para ajudar os tomadores de decisão a fazer perguntas ad-hoc em tempo real sobre o comportamento do consumidor sem depender de nossos especialistas em dados para construir dashboards e respostas. Agora, nossa equipe pode obter insights detalhados sobre vendas de jogos e dados de jogabilidade simplesmente fazendo perguntas em linguagem natural”, ressalta o diretor de Serviços de Dados da SEGA Europa, Felix Baker. “O AI/BI nos permitirá democratizar dados, aumentar a produtividade e melhorar a velocidade das tomadas de decisões baseadas em dados em toda a SEGA, permitindo-nos concentrar no que realmente importa: criar as melhores experiências de games possíveis para nossos jogadores”.
Disponibilidade
O AI/BI está disponível para todos os clientes do Databricks SQL Pro e Serverless. O AI/BI Dashboards está disponível para todos e o Genie está em pré-visualização pública. Não há taxa de licenciamento adicional além dos custos de computação do warehouse para ambos os produtos.
