domingo, 21 de septiembre de 2008

Herramientas para entornos BI



Actualmente, en la empresa que trabajo, me encuentro en un proceso de evaluación de nuevo software para BI. La idea es montar una plataforma que soporte con creces la cantidad de información que queremos extraer. Para que os hagáis una idea, la empresa se dedica al retail y cuenta con más de 50 sedes que generan información todos los días. Nuestra intención es llegar al más alto nivel de detalle, esto es, las lineas de los tiques.



A priori, mucha gente del sector podría decir que su herramienta no cubre tal fin y que está diseñada para manejar información ya agregada a cierto nivel. El ejemplo lo tenemos en cualquier herramienta que se apoye en MS Excel con su limitación de filas por hoja (65.000, aunque a alguien le he oido decir alguna vez que lo había conseguido ampliar a cerca de 200.000 filas).


Hace algunas semanas asistí a un evento organizado por la gente de Barc, un evento realmente interesante donde tenías la oportunidad de conocer (no daba tiempo a mucho más) y conseguir algún catálogo de los 12 productos más destacados del mundo de BI actual. A continuación hago una relación de productos que pude ver y, en posteriores artículos, iré comentando según pueda testearlos:

Soluciones basadas en Excel: Había unas cuantas pero me quedé con el fabricante ApeSoft que plantea una solución interesante para desplegar el BI a un número de usuarios realmente alto. Por contra, tienen la limitación que comenté antes.


Soluciones de alto coste: Bueno, en fin, otras pocas:
Soluciones del mundo real (como diría mi colega Josep Ros, artesanos):

  • QlikView (esta ya os iré comentando en breve). Si puedo adelantaros algo de esta es el corto período de desarrollo en cualquier tipo de proyecto y hablo de incluso horas.

  • EBA (Exact Business Analytics), esta estoy deseando que la semana que viene me la dejen probar la gente de Exact, ¡Nacho, por favor, envíame el software!

  • MS Analysis Services. Esta no necesita presentación pues es el producto de Microsoft en su versión 2005. También espero comentarla pronto y poner links y casos de éxito.
Soluciones Open Source; que también las hay:

  • Pentaho: Una Suitte completa para BI; reporting, análisis, cuadros de mando, "data mining", e integración de datos, y todo esto Open Source!!!.
  • Palo: Esta es una herramienta de Jedox free para entornos windows y linux integrada con MS Excel. Ideal para escenarios financieros (presupuestación y otros) ya que permite introducción de datos desde páginas web desarrolladas sobre Excel. Algo curioso, de verdad.

Así que manos a la obra!, .... pero primero voy a montarme un entorno virtualizado para poder probar por separado algunos de estos productos. En breve iré comentando alguna de estas.

hasta la próxima

5 comentarios:

Javier dijo...

Hola Carlos,

¿Puedes comentar algo más sobre el proyecto? en especial sobre el entorno sobre el que se apoya? servidores, bases de datos, fuentes de datos.... Nosotros estamos pensando en algo similar y curiosamente en una empresa con ciertas similitudes

Saludos

Javier

Carlos Gutierrez dijo...

Hola Javier, y gracias por el interés. ;-)

Bueno, antes de nada cabría decir que actualmente me encuentro inmerso de lleno en la implantación de la "nueva y maravillosa ERP" con lo que podríamos hablar de doble entorno (un antes y un después):
Te describo el entorno actual primero y te situas y así entiendes también mi evolución.

1) Año 0 antes de cristo (...en algún lugar del mediterráneo...):
52 sedes (tiendas) con SO: Theos v4.2 y alguna con 5.0Corona.
Sede Central con SO: Theos v4.2
960 empleados
200 usuarios directos de ordenador (no ventas).

Solo hay una forma de sacarle datos al Theos; hacer un programa que genere un .txt y hacer un FTP a un Windows, ni ODBC ni menos, OLEDB. Hasta aquí fácil, salvo que los FTP son de unos 500MB cada día y, la verdad, al Theos le pesa!.

Pues de mi primer cuadro de mandos, montado en 30 minutos con QlikView con estos ficheros de texto hasta hoy, la cosa ha crecido bastante (unos 50 cubos de varios temas).
Te cuento la infraestructura actual:

-Dominio w2003

-Clúster de SQL Server 2005 (2xNodos x2Quad Core + 4GB RAM) sobre cabina SAN (1.4TB NETO)
Para aplicación ERP (Logística, Contabilidad, Compras, Ventas).

-Este clúster hace de publicador con todos y cada uno de los servidores locales de las tiendas (w2003 R2 standard + SQL Server Standard)

-Servidor SQL Server 2005 RRHH (nóminas y RRHH) que es un w2003 r2 standard virtualizado con ESX 3.0

-Servidor SQL Server 2005 (aplicación de merchandising y colocación de producto ).

-Todos los usuarios trabajan sobre un entorno CITRIX virtualizado con ESX 3.0 (una granja de 3 servidores Citrix).

Posiblemente incorporemos datos externos en un futuro próximo desde alguna web (e-commerce y esas cosas) y desde alguna aplicación CRM.

Desde hace 4 años implantamos QlikView (para mí una maravillosa herramienta por su corto desarrollo, facilidad para el usuario final y que, con un poco de gusto, lo pintas que ni los más grandes.
Durante 4 años, hemos ido metiendo y metiendo datos hasta que los cubos han crecido hasta tamaños de 140MB en algún caso (comprimidos).
Desde mi punto de vista hemos cometido un error y es llevar los datos transaccionales (lineas y cabeceras de todo) a un mismo cubo incorporando información de varios años, ¡y ha respondido!
Primer problema que nos hemos tropezado: la RAM del servidor 32 bits. Solución; actualizar la versión del fabricante en un servidor virtualizado 64 bits sin limitación de RAM; una máquina bastante más potente que la actual.
El segundo problema es que en poco tiempo se hizo muy popular en la empresa y todos los usuarios quieren que les instale, con lo que un requerimiento importante: necesito hacer llegar la información a todos los usuarios (central + tiendas).

Actualmente estoy probando alguna herramienta más y los aspectos más importantes que les voy a pedir son:

-Accesibilidad a todos los usuarios.
-Facilidad de desarrollo y rápida implementación.
-Escalabilidad (al montar la plataforma sobre VMWare me aseguro transportabilidad y fácil ampliación del hardware).
-Una herramienta que te permita optimizar las grandes cargas de datos que se actualizan las menos veces posible (mayor rendimiento).
-Rapidez de cálculo.
-Variedad de objetos.
-No valoro el tema del Flash (últimamente he visto algunas grandes herramientas que en sus nuevas versiones incorporan esta tecnología y sí, muy gonito, pero no vale para nada más).
-Que permita Reporting.
-Que genere alertas ante ciertas condiciones de ciertos ratios.
-El tema de la seguridad no hace falta comentar... ;-)
-Diversidad de clientes; web y exe.

Bueno, espero haberte situado un poco más, si necesitas algo, ya sabes donde estoy.

Un saludo;

kurrin dijo...

Buenas Carlos, para un neofito en el tema, una pregunta ¿Estas herramientas para qué son? Son para tener plantillas o similar de cuadros de mandos? Son apliaciones que se integran en el propio servidor de BI y trabajan con él. Sirven para que no te tengas que currar tu mismo el cuadro de mando?

Gracias y animo con el blog, me parece muy interesante,

Carlos Gutierrez dijo...

Hola Kurrin, he publicado un artículo que espero te despeje alguna duda.
Un servidor de BI pueden ser perfectamente varios servicios ejecutándose en uno o varios servers. Por ejemplo, un servicio publica los datos para que una aplicación cliente los pinte al usuario, otro servicio (IIS) publica estas plantillas sobre http, ...
Hay muchas posibilidades y depende de la herramienta (del fabricante) y de la pasta que estés dispuesto a gastarte.
Por lo de currar, eso no te lo quita nadie a no ser que quieras pagar para que un consultor te lo haga (no te lo aconsejo a posteriori aunque si no tienes experiencia, como inicio sería buena idea).
Te puedo asegurar que he visto gente (no informáticos) que han montado cuadros de mando muy chulos en su empresa sin conocimientos previos. También te digo que ciertos programas (los pata negra) que mencioné, no hay cojones a ponerlos en funcionamiento si no tienes grandes conocimientos.
Siempre hay una parte de curro en conocer y descubrir donde están los datos dentro de tu BD y programar la periodicidad de la recarga. Una vez tienes los datos recopilados, pues ala!, a pintar...

Por la idea de plantillas que mencionan, creo que no va por ahí, cada cuadro de mando te lo vas a montar desde cero.
Gracias por tus dudas

Picorete dijo...

Hola a todos tengo una o varias gran preocupaciones, os comento:

En mi empresa estamos en proceso de informatizacion global de la empresa, ¿y que quiere decir esto?

Pues que estamos en proceso de Implantacion de un sga(sistema de gestion de almacen), erp, lims(Software de laboratorio), Mantenimiento, SCADA(Fabricacion)

Ya hemos terminado con la implantacion del SGA y el ERP, ahora estamos con el SCADA(Fabricacion) y mantenimiento, todos los sistemas estan conectados en tiempo real.

A mediados de este año empezamos con LIMMS y RRHH.
Mi pregunta es la siguiente seria bueno implantar BI ahora o deberia esperar a terner todas las plataformas de software instalados, tambien me gustaria saber si podriamos utilizar el software BI para plantificacion de la produccion.

saludos a todos