Transformer les données en informations

Data is the new oil, traduzida literalmente para “os dados são o novo petróleo” é uma frase icónica que todos nós já ouvimos e que parece ser cada vez mais atual, apesar de ter sido dita pela primeira vez há mais de uma década (em 2006, por Clive Humby, Senior Marketer na Tesco). Mas será mesmo verdade?

Enquanto consumidores, experienciamos todos os dias em primeira mão como os nossos dados influenciam as organizações a melhorar os seus produtos e serviços.

Chaque jour, des millions de personnes dans le monde entier utilisent les réseaux sociaux comme moteurs de recherche. À l'heure actuelle, les grandes organisations d'envergure mondiale attribuent une grande partie de leur succès à la collecte et à l'analyse de données à grande échelle sur l'utilisation de leurs plates-formes, car elles fournissent des bases solides pour prendre des décisions qui améliorent l'expérience des utilisateurs.

Podemos afirmar que os dados passaram a ter um papel essencial em todas as esferas de atividade.

No entanto, analisando a frase data is the new oil, conseguimos identificar uma grande diferença entre os dois sujeitos - o petróleo é valioso, mas escasso, enquanto que os dados têm tendência a gerar cada vez mais valor com o tempo e utilização. Organizações que recolhem grandes quantidades de dados geram mais e melhores insights que podem ser traduzidos em valor direto para as organizações. À recolha e análise de dados em grande escala dá-se o nome de big data.

A importância de um data warehouse moderno

Os armazéns de dados (data warehouses) têm um papel chave a desempenhar no processo de criação de valor para as organizações, pois são em primeiro lugar os responsáveis pela agregação de dados das mais diversas fontes de informação, podendo ser geridos tanto on-premises como na Cloud. Essencial para que os possam ser analisados em grande escala, um data warehouse moderno: suporta qualquer fonte de dados; é facilmente escalável e de simples acesso; centraliza todos os dados (internos ou externos), relevantes para a organização; fornece insights em tempo real através de dashboard; suporta modelos de analítica avançada como machine learning ou Inteligência Artificial.

Um data warehouse moderno deve armazenar dados de forma a que estes sejam facilmente acessíveis pelos seus consumidores e simultaneamente possuir a capacidade de processar e interpretar todo o tipo de dados de forma ágil e eficiente.

Como estruturar os dados em grande escala?

Par le passé, les seules polices de données pour les applications étaient les bases de données. Mais aujourd'hui, il existe des centaines, voire des millions, de polices différentes, chacune contenant des types de données différents, qui peuvent être ou ne pas être utilisés.

Os dados estruturados têm padrões que podem ser facilmente interpretados. Par exemple : nom de clients ; moradas ; geolocalização ; datas ; contactos telefónicos ; nomes de produtos ; Stock Units (SKUs).

En revanche, toutes les données des organisations ne peuvent pas être classées numériquement ou sémantiquement, et c'est là qu'entrent les données qui ne sont pas classées comme : images, vidéos, courriels et documents, dispositifs IoT et capteurs.

Ces données sont extrêmement pertinentes pour être consolidées et intégrées à d'autres données, ce qui permet d'obtenir une vision globale des composantes du commerce, comme par exemple les clients.

Pour atteindre cet objectif, il est essentiel de s'assurer que les solutions de données sont capables d'intégrer ces deux types de données sur un seul point central.

Construir uma Data pipeline

Após identificar todas as diferentes fontes de dados, é essencial criar uma data pipeline. Os passos necessários nesta fase são:

1. transferir os dados de todas as fontes (estruturados e não estruturados) para a data warehouse;

2. armazenar os dados num data lake;

3. aplicar processos e procedimentos de data quality, preparando-os para serem utilizados em modelos analíticos avançados;

4. aplicar regras e conceitos de negócio, disponibilizando-os para serem consumidos pelos seus utilizadores;

5. exploração e visualização dos dados em plataformas como o Power BI. Data visualisation fornece uma representação rica e relevante dos dados que permitem a tomada de decisões data-driven, adicionando valor ao negócio e aos clientes.

Através desta abordagem, é construída uma arquitetura altamente escalável que serve todos os utilizadores: desde utilizadores finais, a data engineers e cientistas de dados que exploram os dados, a analistas que os interpretam para o negócio e até ao CEO que pretende compreender melhor o que acontece no seu negócio em tempo real.

Artigo de branded content na IT Insight, página 44.