Qualidade de Dados / Data Quality

Os ataques terroristas de Al Qaeda nos Estados Unidos da América foram o catalisador para a passagem da regulamentação da UE contra o terrorismo. A primeira resolução da ONU passou pouco tempo depois.

Um aspecto novo nestas resoluções e regulamentos é o facto de que as organizações particulares e os indivíduos que nem sempre estão ligados a estados individualizados estão incluídos nas chamadas listas de sanção e não países completos.

A lista seguinte mostra as mais IMPORTANTEs RESPOSTAS aos ataques terroristas do 11 de Setembro de 2001:
- 28 de setembro de 2001: Adopção da resolução 1373 da ONU pela comunidade de estados
- 27 de dezembro de 2001: Regulamento (CE) n º2580/2001 – Implementação no aplicável Direito Comunitário
- 27 de maio de 2002: Regulamento (CE) n º. 881/2002 – extensão para indivíduos específicos / organizações
- Adicionalmente, a legislação dos E.U.A. reivindica em todo o mundo a validade das suas normas de controle de exportação, sempre que mercadorias dos E.U.A. são negociadas.

O legislador também especificou quem é responsável pelo correto cumprimento das referidas resoluções e regulamentos.

As responsabilidades de supervisão por parte da empresa são regulados no artigo 2º do decreto Lei nº 25/2008

Aqui se afirma que a gestão e os seus representantes autorizados, entidades e indivíduos devem ter medidas organizacionais razoáveis que garantam com suficiente probabilidade de que não são cometidas infracções, intencionalmente ou por negligência. A responsabilidade e obrigação de notificar as autoridades é considerada no mesmo decreto. Referência que os responsáveis na empresa são pessoalmente responsáveis por consequências penais. Essas pessoas só pode ser exoneradas pela evidência de uma funcionamento da organização e o cumprimento das necessárias e adequadas medidas de controlo.

Finalmente, nos termos do artigo 3º e 4º da referida lei, não há uma obrigação geral para todos que participam comercialmente no estrangeiro a fornecer informações. O órgão executivo para analisar o obrigação de fornecer informação é a Unidade de Informação Financeira. Não é definitivamente regulamentado, que é a autoridade responsável para esclarecer dúvidas sobre a identidade de um parceiro de negócios. No entanto, é aconselhável fazer inquéritos à UIF em tais casos.

Além da UIF, o cumprimento do anti-terrorismo da regulação da UE também é verificado pelas autoridades aduaneiras, o serviço de auditoria das finanças regionais, bem como pelas autoridades criminais (por exemplo, Ministério Público).

Regulamentação da UE contra o terrorismo e listas de sanção está a decorrer com firmeza: Opções para a execução técnica das disposições legais

PROCESSOS NÃO DISPONÍVEIS OU INSATISFATÓRIOS PARA PROCURA DOS CLIENTES E PROSPECTS CONTRA LISTAS DE SANÇÕES - UM RISCO DE NEGÓCIO FREQUENTEMENTE SUBESTIMADO E IMPLICA A RESPONSABILIDADE PESSOAL DOS GESTORES.

A aplicação das disposições estatutárias da regulamentação anti-terrorismo da UE ainda é um aspecto amplamente discutido no âmbito da Qualidade dos dados. Este regulamento proíbe que sejam colocados serviços financeiros e bens à disposição de organizações terroristas tanto em território nacional como no exterior.

Se as últimas exigências do regulamento anti-terrorismo da UE não são cumpridas, as consequências são previsíveis. Por exemplo, existe o perigo de que o conjunto dos activos da empresa sejam congelados.

Existe ainda o perigo de ser incluído numa lista de sanção, se fornecer dados a um dos indivíduos ou organizações listadas.
Também deve ser considerado que não há direito legal a ser removido da lista de sanção.
Qualquer pessoa que age sem pensar duas vezes, rapidamente coloca o futuro de toda a empresa em risco e por isso também o dos seus trabalhadores.

Organizações e indivíduos que estão sob a alçada do regulamento anti-terrorismo da UE estão incluídos em várias listas de sanção elaboradas pela União Europeia e pelas instituições dos Estados Unidos da América, entre outros.

Como consegue que os dados do cliente sejam comparados com as listas de sanções actuais, a fim de cumprir o regulamento? Nós apresentamos uma abordagem prática que combina as edições actuais da listas de sanções contra os dados mestre do cliente em processamento batch ou on-line, proporcionando-lhe segurança no que diz respeito à Regulamentação da UE contra o terrorismo.

Os requisitos legais e os seus efeitos estão já publicados em Diário da Republica. Além disso, a relação com a qualidade dos dados no sentido convencional será descrita em futuros posts. Finalmente, a opção para a prática da sua aplicação será considerada. A implementação de cenários será documentada com exemplos e possíveis processos jusante serão apresentados em igualmente em próximos posts.

Uma das coisas mais complicadas no tratamento dos dados é precisamente medir os níveis de qualidade do tratamento.

Existem vários aspectos que temos de ter em conta para contabilizar a qualidade dos dados, que vão desde o numero de registos que foram tratados de forma correcta, ao número de registos existentes e que ainda é possível que sejam considerados registos válidos e finalmente os registos que são simplesmente "lixo".

Já na parte da deduplicação é relativamente mais simples, uma vez que certamente se o tratamento for executado de forma correcta iremos ter três tipos de registos: os únicos, os duplicados e os duvidosos. O ideal é que estes últimos sejam no menor número possível.

Voltando à normalização, se estivermos a falar da normalização das moradas, sabemos que existem vários tipos de normalizações em Portugal e conforme as ferramentas que têm por base com valores muito diferentes e logicamente com uma qualidade final igualmente muito diferente.

Vamos a um exemplo simples, é quase impossível ver empresas com certeza da qualidade das suas moradas, mas existem. Há empresas a trabalhar com ferramentas de qualidade de dados em que se a morada não for validada pelo sistema, simplesmente a morada não entra no sistema. Isto apenas se consegue atingir com uma certeza muito grande na qualidade das ferramentas e da base de dados de referencia.

Existem em Portugal já algumas empresas que dizem que fazem tratamento dos dados, mas simplesmente não têm ferramentas para tal. Apenas com muita confiança nos processos de trabalho, nas tabelas de referencia e no software é possível ter um demo online para que qualquer um possa verificar por si próprio.

Porque é muito diferente dizer que se faz, do que poder provar logo à partida que se faz. E isso deve fazer toda a diferença.

O tratamento de dados é, ou em muitos casos deveria ser, mais que simplesmente fazer a normalização dos dados. É poder comparar com um street file se a rua existe realmente, em muitos casos se o numero de porta existe realmente e finalmente atribuir o código postal conforme estes elementos. Sem isto o que se faz é simplesmente colocar os registos bonitos sem qualquer certeza que a rua realmente existe.

Por fim temos ainda o numero de registos em que estas alterações/correcções são feitas. Por norma em muitos casos temos valores que rondam os 50 a 60%, mas existem softwares que permitem ir bem mais longe e atingir no mínimo os 80%.

A Inteligência Empresarial, ou Business Intelligence, é um termo do Gartner Group. O conceito surgiu na década de 80 e descreve as habilidades das empresas para aceder a dados e explorar informações (normalmente contidas numa base de dados, analisando e desenvolvendo percepções e entendimentos e que permite incrementar e tornar mais baseada em informações a tomada de decisão.

Este conceito assim explicado é muito vago, como tal, foi pedido a vários especialistas da área a sua própria definição.

Mery Adrian, analista e consultor em TI, que já passou por empresas como Forrester Research, Giga, Sybase e Information Builders
Business Intelligence é a aplicação de técnicas analíticas para informações sobre condições de negócio no sentido de melhorá-las - de uma maneira automatizada, mas com a interpretação e respostas humanas. A imprecisão de muitos dos termos, no entanto, permite que os fornecedores e analistas redefinam a categoria, o que fazem com frequência.

Steve Anthony, CIO da consultoria de negócios Charles River Associates
Um sistema de negócios que inclua uma estrutura de busca efectiva e acessível, cuidada, em tempo real, com métricas de negócio e relatórios que permitam aos líderes das áreas de negócio manterem-se informados para tomar decisões. Isso é fácil de dizer, mas difícil de fazer corretamente e envolve mudanças na forma como a organização conduz uma busca efectiva, bem como a necessidade por uma boa base de dados para tomar acções, com o objectivo de optimizar a performance corporativa.

Tom Davenport, professor de gestão e TI e co-autor do livro Analytics at Work: Smarter Decisions, Better Results
Eu vejo o BI como todas as coisas que as empresas fazem para melhorar a gestão e a organização dos dados. Para mim, inclui relatórios e análises, embora exista muito mais a olhar. De qualquer forma, eu penso que o termo BI está sendo rapidamente suplantado por "business analytics".

William Swislow, CIO and vice-presidente sênior de produtos do site de venda de veículos Cars.com
Business intelligence é a informação acessível que resulta das principais actividades da companhia e pode ser usada para agregar, relatar e analisar os principais caminhos para o negócio.

Ray Wang, consultor na área de estratégia corporativa do Altimeter Group e autor de um blog sobre a próxima geração de BI
A habilidade para que a pessoa certa receba a informação adequada e no momento correto para tomar a melhor decisão.
Ou seja, na realidade BI é tudo e nada ao mesmo tempo. Na realidade não é mais que a especialidade de medicina geral em que sabe um pouco de tudo, mas realidade não sabe muito de nada.

Seja como for, qualquer que seja a definição que se adopte para BI, no fundo tudo tem como base a qualidade dos dados. Se não existir qualidade nos dados tudo o resto é uma simples perda de tempo e de dinheiro.