W trakcie realizacji projektu okazało się, że rosnąca skala biznesu i oczekiwania co do kontroli i reagowania na zmieniające się otoczenie biznesowe wymagają od spółki gromadzenia danych, ich dogłębnej analizy i podejmowania decyzji w oparciu o wgląd w wiarygodne dane, a nie intuicję.
Pierwsza faza projektu koncentrowała się na zrozumieniu potrzeb całej organizacji i poszczególnych jej działów. Na podstawie zdobytej wiedzy wskazano obszary do pokrycia i wytypowano krótką listę rozwiązań technologicznych do wyboru. W wyniku licznych warsztatów, zdecydowano się skupić na rozwiązaniach Microsoft i open-source. Firma już od kilku lat korzystała z pakietu Office365 jako głównego narzędzia biznesowego. Priorytetem naszego projektu było zminimalizowanie wpływu na użytkowników poprzez trzymanie się dobrze im znanych rozwiązań. Jako platformę chmurową do tworzenia aplikacji i przetwarzania danych wybrano Microsoft Azure oraz PowerBI do wizualizacji danych. GUI dla data lake, a także samo data lake, zostało oparte na rozwiązaniach typu open source i zostało zbudowane od podstaw.
W kolejnym etapie projektu zmapowano środowisko danych klienta. Wszystkie dane zostały dokładnie przeanalizowane, czy istnieją API lub inne interfejsy umożliwiające zbieranie danych i czy spełniają one wymagania biznesowe. Na podstawie pełnej listy źródeł danych, typów danych do zebrania, dostępnych interfejsów rozpoczął się żmudny proces gromadzenia danych. Wiele z nich jest gromadzonych za pomocą robotów na bazie open-source, które przeszukują wybrane strony internetowe. Dlatego kolejnym krokiem było wdrożenie autorskiego oprogramowania umożliwiającego orkiestrację kilkudziesięciu robotów w celu zapewnienia kompletności i wiarygodności danych.
Ostatnim krokiem było wdrożenie technologii wśród użytkowników. Data lake weszło w fazę produkcyjną i zostało zintegrowane ze wszystkimi źródłami danych, takimi jak system CRM, publicznie dostępne strony internetowe i bazy danych, system call center oraz PowerBI w celu prezentacji danych. Dodatkowo opracowaliśmy GUI dla data lake, które umożliwia użytkownikom eksportowanie danych przy użyciu interfejsu podobnego do tabel przestawnych. Wszystkie systemy zostały udostępnione w oparciu o system pojedynczego logowania, aby spełnić wymagania bezpieczeństwa organizacji.
