Räätälöity datavirta tietovarastoon

Lähtötilanne

Asiakkaan raportointi nojasi datansiirtoon joka haki tietoa toisen järjestelmän rajapinnasta tietovarastoon. Kun rajapinnan toiminta muuttui, siirto ei enää saanut kuin osan datasta — mutta mikään ei näyttänyt rikki. Data “tuli”, vain vanhentuneena. Hälytys­kelloja ei ollut, ja osa analyyseista oli kuukausi­tolkulla väärällä tiedolla ennen kuin asia havaittiin.

Tehty ratkaisu

Suunnittelin ja rakensin uuden datansiirron josta tehtiin alusta asti monitoroitava ja luotettava. Keskeiset suunnittelu­valinnat:

• Päivitys ilman katkoa. Uusi data ladataan rinnakkais­tauluun ja vasta onnistumisen jälkeen vaihdetaan käyttöön. Käyttäjä ei koskaan näe kesken­eräistä tilannetta.
• Tila näkyviin. Yksi näkymä kertoo mistä hetkestä minkäkin datan on — ja status­sivulla se näkyy ei-tekniselle valvojalle vihreä/keltainen/punainen -tilana. Hiljainen vanhentuminen ei toistu.
• Kärsivällinen virhe­käsittely. Kun lähde­järjestelmä ruuhkautuu hetkellisesti, yhteyttä yritetään uudestaan automaattisesti. Yhden taulun ongelma ei kaada muita, ja epäonnistuneet saavat toisen mahdollisuuden ennen lopullisen virheen kirjaamista.
• Automaatio kaikkialla. Koko ympäristö rakentuu koodista — ei käsi­työnä tehtyjä muutoksia, ei salaisuuksia jotka voi unohtaa kierrättää.

Lopputulos

Uusi ja vanha siirto pyörivät hetken rinnakkain, ja niiden tuottamat rivit voitiin verrata ennen lopullista vaihtoa. Asiakas sai:

• Luotettavan data­päivityksen oman monitorointi­näkymän kera — poikkeukset huomataan heti, ei kuukausien viiveellä.
• Dokumentoidun ja uudelleen­pystytettävän kokonaisuuden — tekninen velka ei kasva vaan vähenee.
• Tuotemaisen alustan joka on monistettavissa toiselle samankaltaiselle organisaatiolle ilman uudelleen­rakennusta.

Projekti kattoi koko kaaren konsepti­työstä tuotantoon: arkkitehtuuri­valinnat, toteutus, julkaisu, testaus, monitorointi ja dokumentaatio — silmällä pitäen myös myöhemmän skaalautumisen ja tuotteistuksen.