Das Thema “Datenimport” war immer ein Reizthema, seitdem ich in der Firma arbeite. Ein neuer Kunde wechselt und möchte die Daten aus seinem bisherigen CRM in unsere Software übernehmen, natürlich möglichst vollständig. Vor Jahren sagte jemand, dieser Schritt wäre damit vergleichbar, dass man die Innenausstattung eines BMW in einen Mercedes einbaut – und erwartet, dass alles einwandfrei passt.
Die Entwicklung des Datenimports
Ursprünglich wurden die Datenimporte von Entwicklern durchgeführt. Erste Ansätze, eine solche Importlogik wiederverwendbar zu entwickeln, scheiterten an permanenten Sonderanpassungen für einzelne Kunden. Als Resultat konnte dieses erste Import-Tool nur von Entwicklern genutzt werden, da permanent kleine Code-Anpassungen durchgeführt werden mussten. 2016 wurde dann ein eigenes Team zur Durchführung der Datenimporte ins Leben gerufen, erst im Bereich unserer “Projektleitung”, Ende 2017 in der IT. In der gleichen Zeit wurde auch das onOffice-Tool, das Datenimporte durchführte, komplett überarbeitet und in großen Teilen neu geschrieben.
Heute muss ein Datenimporter meist keinen Quellcode mehr anpassen, um Mapping-Sonderwünsche umsetzen zu können. Die Importer pflegen das Mapping von externer zu unserer Datenbankstruktur über CSV-Dateien. Für die bekannten Fremdlösungen haben wir sehr gute Standardmappings. Nur für individuelle Anpassungen an der alten Software und das Benutzermapping muss der Importer eingreifen – mittlerweile aber über Konfigurationen oder die CSV-Mappinglisten. Ein Datenimporter muss also heute keine Programmierkenntnisse mehr haben.
Das Import-Tool selbst ist in PHP geschrieben. Ursprünglich haben wir alle Fremddatenbanken (meistens MS-SQL) eins zu eins nach MySQL konvertiert und dann die Struktur migriert. Mittlerweile liest das Import-Tool direkt aus MS-SQL, für das wir einen MS-SQL-Server auf Linux-Basis haben. Diese und viele andere Weiterentwicklungen haben dazu geführt, dass Datenimporte immer effizienter durchgeführt werden konnten.
Wie sehr sich der Datenimportbereich verbessert hat, versuche ich an ein einigen Zahlen zu verdeutlichen.
Anzahl fertiggestellter Datenimporte
Die Anzahl fertiggestellter Datenimporte pro Monat ist über die Jahre deutlich angestiegen. Dank immer effizienterer Arbeit konnte das Import-Team Mitte 2018 auch die CSV-Importe übernehmen, die vorher von Support oder Projektleitung durchgeführt wurden. Bei CSV-Importen liefert der Kunde CSV- oder auch Openimmo-Daten, statt einer Fremd-Datenbank.
Durchlaufzeiten der Datenimporte
Eine spannende Kennzahl bei (fast) allen Projekten ist die Durchlaufzeit. Bei einem Datenimport messen wir hier die Zeit von Projektstart bis zum Markieren des Projektes als “erledigt”. Der Kunde hat den finalen Import schon deutlich früher. Als “erledigt“ markieren wir das Projekt aber erst, wenn alle Korrekturen durchgeführt und alle Dateien hochgeladen sind. Einen Monat Puffer bis zum Aufräumen der lokalen Daten räumen wir anschließend auch noch ein.
Die Darstellung aller Durchlaufzeiten ist noch schwer zu erfassen:
Bildet man den Durchschnitt über jeden Monat, ist die positive Tendenz deutlicher zu erkennen:
Betrachtet man die Durchlaufzeiten genauer, ist die Grenze von 100 Tagen als kritischer Wert zu erkennen. 100 Tage heißt jedoch nicht, dass der Kunde 100 Tage auf seinen Import warten muss – dieser Wert enthält auch noch 30 Tage Puffer plus Aufräumarbeiten.
Wird ein Projekt unter 100 Tagen als “erledigt” markiert, konnte der Import sehr wahrscheinlich ohne größere Probleme durchgeführt werden. Läuft das Projekt länger als 100 Tage, sind sehr wahrscheinlich Probleme aufgetreten oder es waren umfangreiche Anpassungen nötig.
Die Anzahl der Projekte unter 100 Tagen ist deutlich angestiegen, die Projekte über 100 Tagen sind weniger geworden:
In der prozentualen Darstellung ist die Tendenz noch deutlicher zu erkennen. Der prozentuale Anteile der Projekte unter 100 Tagen ist deutlich gestiegen:
Fazit
Das Datenimport-Team sehe ich als tolle Erfolgsgeschichte. Aus einer Tätigkeit, die ursprünglich immer wieder hohen Aufwand in der Softwareentwicklung erzeugt hat, ist heute ein Service mit hohen Standards und guter Qualität geworden. Das Team arbeitet mittlerweile fast autark und ist nicht mehr auf die Softwareentwicklung, Administration und Projektleitung angewiesen.
Janosch Reuschenbach ist IT-Verantwortlicher bei onOffice und leitet die Bereiche Softwareentwicklung, Administration und Datenmigration. Janosch hat einen Hochschulabschluss in Technomathematik und ist seit 2006 fester Bestandteil unseres Teams.