Datenqualität in Dynamics 365
Ein Kunde.
Drei Datensätze.
Drei Wahrheiten.
Seit 2013 arbeiten wir ausschließlich mit Dynamics 365 CE. Die Duplikat-Bereinigung ist unser eigenes Werkzeug dafür: Sie läuft als eigener Bereich in Ihrer Umgebung, lädt eine Tabelle im Ganzen, gruppiert phonetisch ähnliche Datensätze und macht daraus eine Arbeitsliste. Zusammengeführt wird nichts, was nicht jemand entschieden hat.
- ausschließlich Dynamics 365 CE
- seit 2013ausschließlich Dynamics 365 CE
- Projekte
- > 50Projekte
- In Begleitung
- > 20In Begleitung
- Microsoft-Partner
- seit 2020Microsoft-Partner
- Eine Arbeitsliste statt eines Verdachts
- Der ganze Bestand gruppiert, seitenweise abzuarbeiten
- Feldgenaue Vorschau vor jedem Merge
- Wert gegen Wert, bevor etwas geschrieben wird
- „Kein Duplikat" ist ein Ergebnis
- Geprüfte Gruppen stehen in einem eigenen Reiter
- Ein Verlauf, den man später erklärt
- Audit-Reiter neben der Arbeitsliste
Ausgangslage
Gewachsen, zugekauft, oder vor dem nächsten Vorhaben.
Duplikate sind kein Versäumnis, sondern die Folge davon, dass ein CRM jahrelang benutzt wird. Die Frage ist nicht, wie sie hineingekommen sind, sondern wie sie geordnet wieder herauskommen.
Gewachsen
Jahre Betrieb, viele Wege hinein
Ein Import, eine Messeliste, ein Web-Formular, ein Tippfehler, eine Rechtsform mehr oder weniger. Jeder Weg für sich war richtig. Zusammen ergeben sie mehrere Datensätze zu einem Kunden.
Zugekauft
Zwei Bestände, ein CRM
Nach Zusammenschluss oder Übernahme liegen zwei Kundenlisten in einem System. Die Überschneidung ist erwartbar, ihre Größe kennt niemand und sie wird in beiden Listen anders geschrieben.
Vor dem nächsten Vorhaben
Erst die Daten, dann die Funktion
Marketing-Automatisierung, Forecast oder Copilot arbeiten auf dem Bestand, den sie finden. Wer vorher wissen will, wie es insgesamt um die Daten steht, fängt eine Ebene höher an.
Zum Dynamics 365 AuditWas es kostet
Was Doppelte kosten, steht in keiner Rechnung.
Solange Duplikate im Bestand liegen, ist jede Auswertung darüber eine Schätzung. Das ist kein Schönheitsfehler, das ist ein Steuerungsproblem.
01
Der Forecast zählt doppelt
Zwei Datensätze zu einem Kunden tragen zwei Pipelines. Was die Vertriebsleitung addiert, gibt es in Wirklichkeit einmal.
02
Zwei Ansprachen, ein Empfänger
Kampagne und Serviceanschreiben gehen zweimal raus, mit unterschiedlichem Stand. Für den Empfänger ist das ein Unternehmen, das seine eigenen Daten nicht kennt.
03
Die Historie liegt verteilt
Aktivitäten, Angebote und Notizen verteilen sich über mehrere Datensätze. Wer den Kunden anruft, sieht einen Ausschnitt und hält ihn für das Ganze.
04
Zahlen, denen niemand traut
Hat ein Bericht einmal doppelt gezählt, wird die nächste Auswertung sicherheitshalber daneben in Excel geprüft. Danach steuert niemand mehr mit dem System.
Rechnen Sie es für sich durch: Wie viele Ihrer Firmen stehen mit abweichender Rechtsform, Schreibweise oder Adresszeile mehrfach im System? Diese Zahl kennt in den meisten Häusern niemand und genau das ist der Grund, warum die Bereinigung nie oben auf der Liste steht. Die Diagnose beantwortet sie, bevor der erste Datensatz angefasst wird.
Wer entscheidet
Nichts wird zusammengeführt, was niemand entschieden hat.
Das Werkzeug schlägt Gruppen vor und legt sie als Arbeitsliste hin. Jede Gruppe endet in einer Entscheidung, die ein Mensch trifft und eine dieser Entscheidungen lautet „gehört nicht zusammen".
01
Gruppe öffnen
Jede Gruppe der Arbeitsliste zeigt, wie viele Datensätze sie umfasst und welchen Score, also welchen Ähnlichkeitswert, sie hat.
02
Master bestimmen
Ein Datensatz der Gruppe wird zum führenden. Er ist im Zusammenführen immer enthalten.
03
Einbeziehen entscheiden
Jeder weitere Datensatz lässt sich gezielt ausschließen. Was nicht zusammengehört, bleibt draußen.
04
Attributvergleich lesen
Feld für Feld steht nebeneinander, welcher Wert übernommen wird und welcher nicht. Firmenname, E-Mail, beide Straßenzeilen, Ort, Telefon.
05
Oder: kein Duplikat
Gruppen, die keine Duplikate sind, werden als geprüft markiert und stehen in einem eigenen Reiter. Auch das ist ein Ergebnis, kein übersprungener Fall.
Vor dem Zusammenführen sichtbar
- Umfang der Gruppe
- Wie viele Datensätze sie enthält
- Auswahl
- Wie viele davon im Zusammenführen landen
- Score
- Der Ähnlichkeitswert der Gruppe
- Übernommen
- Je Feld der Wert, der bleibt
- Verworfen
- Je Feld der Wert, der nicht übernommen wird
- Übereinstimmung
- Ob die Werte in den Datensätzen gleich sind
Der Master ist immer Teil der Zusammenführung. Jeder weitere Datensatz der Gruppe ist eine Entscheidung, die jemand trifft.
Wie die Erkennung arbeitet
Verglichen wird der Klang, nicht die Zeichenfolge.
Neben jedem der fünf Vergleichsfelder liegt ein Soundex-Wert im Datensatz, ein Code, der ähnlich klingende Schreibweisen auf denselben Wert abbildet. Datensätze mit demselben Code landen im selben Bucket, aus mehrfach besetzten Buckets entstehen die Kandidaten für eine Gruppe.
Ausgewertet wird eine ganze Tabelle, nicht der Datensatz, der gerade offen ist. Regelbasierte und phonetische Erkennung schließen sich nicht aus: Dieses Werkzeug bringt die zweite Ebene mit und macht ihr Ergebnis als Arbeitsliste bedienbar.
Vergleichsfelder der Tabelle Firma
Firmenname
name → kc_name_soundex
emailaddress1 → kc_emailaddress1_soundex
Adresse 1: Straße 1
address1_line1 → kc_address1_line1_soundex
Adresse 1: Straße 2
address1_line2 → kc_address1_line2_soundex
Adresse 1: Ort
address1_city → kc_address1_city_soundex
Fünf Felder gleichzeitig. Welches davon in Ihrem Bestand überhaupt trägt, sagt die Diagnose, vor der ersten Zusammenführung.
Diagnose je Vergleichsfeld
- Werte gefüllt
- Wie viele geladene Datensätze das Feld überhaupt befüllt haben. Ein Feld, das kaum gepflegt wird, trägt als Erkennungsmerkmal nichts.
- Eindeutige Werte
- Wie viele verschiedene Werte darin vorkommen. Steht fast überall dasselbe, trennt das Feld die Datensätze nicht.
- Doppelte Soundex-Buckets
- Wie viele Klang-Gruppen mehrfach besetzt sind. Genau dort sind Duplikate zu erwarten.
Beispiel aus einer Sandkasten-Umgebung
- geladene Firmen-Datensätze
- 3.741geladene Firmen-Datensätze
- Duplikat-Gruppen zur Prüfung
- 1.778Duplikat-Gruppen zur Prüfung
- Seiten Arbeitsliste
- 89Seiten Arbeitsliste
Werte eines Testlaufs in einer Sandkasten-Umgebung. Sie zeigen die Größenordnung, in der das Werkzeug arbeitet, und sagen nichts über Ihren Bestand.
Nachvollziehbarkeit
Eine Bereinigung, die man später erklären kann.
Wer über Wochen Datensätze zusammenführt, muss Monate später noch sagen können, warum. Neben der Arbeitsliste stehen deshalb zwei weitere Reiter.
Reiter „Audit"
Neben der Arbeitsliste steht ein eigener Reiter für den Verlauf der Bereinigung. Was er im Einzelnen führt, sehen Sie in der Testversion an Ihrem eigenen Bestand.
Reiter „Geprüfte Datensätze"
Was jemand als geprüft markiert hat, steht in einem eigenen Reiter, nachlesbar, auch Monate später.
Filter und Blätterung
Die Arbeitsliste lässt sich filtern und seitenweise abarbeiten. Ein großer Bestand wird damit zu Etappen statt zu einem Block.
Kein zweites System daneben
Die Bereinigung steht in der Dynamics-Navigation unter „Kunden", als eigener Eintrag neben Firmen und Kontakten. Wer bereinigt, wechselt dafür nicht die Umgebung.
Besetzung
Sie zeigt Ihnen das Werkzeug im Betrieb.
Kein Account-Management dazwischen: Wer die Testversion einrichtet und mit Ihnen die Diagnose liest, ist die Person, die das Werkzeug gebaut hat.
Sophie Lausberg
Head of Development, Project Management & Consulting
Übersetzt Geschäftsprozesse in Dynamics-Logik, von Workshop bis Code, mit hoher Anpassungsfähigkeit.
Porträts KI-bearbeitet. Hinweise zur Kennzeichnung
Häufige Fragen
Was CRM-Verantwortliche zuerst fragen.
Was passiert beim Zusammenführen mit Verknüpfungen, Aktivitäten und Historie?
Wie verhindern wir, dass zwei ähnlich klingende, aber verschiedene Firmen zusammengeführt werden?
Funktioniert das nur für Firmen?
Woher wissen wir vorher, ob die Erkennung in unserem Bestand trägt?
Was umfasst die Testversion, und was kostet sie?
Wie kommt das Werkzeug in unsere Umgebung?
Testversion
Testen Sie es an Ihrem Bestand. Nicht an unserem.
Eine Demo im Sandkasten zeigt, dass das Werkzeug funktioniert. Ob die Erkennung in Ihren Daten trägt, zeigt nur Ihr eigener Bestand, deshalb läuft die Testversion in Ihrer Umgebung und nicht in unserer.
Schritt 01
Bestellung abschicken
Das Formular ist mit Ihrem Anliegen vorbelegt. Ergänzen Sie, wie Ihre Dynamics-Umgebung aussieht, mehr brauchen wir für den Anfang nicht.
Schritt 02
Voraussetzungen klären
Dreißig Minuten, in denen wir hinterfragen statt zu verkaufen: welche Umgebung, welche Berechtigungen, wer testet. Wenn Ihr Fall damit nicht gelöst ist, sagen wir Ihnen das hier, nicht nach der Installation.
Schritt 03
Werkzeug einrichten
Danach steht das Werkzeug als eigener Bereich in einer Testumgebung Ihres Dynamics 365. Keine fremde Demo-Instanz, kein zweites System daneben.
Schritt 04
Diagnose lesen, dann bereinigen
Sie laden Ihre Firmentabelle und lesen die Diagnose je Vergleichsfeld. Erst danach arbeitet Ihr Team die ersten Gruppen ab, mit feldgenauer Vorschau vor jedem Zusammenführen.
Was vor dem Start geklärt ist
- In welcher Umgebung getestet wird und welche Berechtigungen dafür nötig sind
- Welche Tabellen bereinigt werden sollen, belegt ist die Tabelle Firma
- Woher die Soundex-Felder kommen und wie sie befüllt werden
- Wer im Haus die Arbeitsliste abarbeitet und wer Zusammenführungen verantwortet
- Was beim Zusammenführen mit Aktivitäten und Verknüpfungen in Ihrer Umgebung passiert
Umfang, Dauer und Konditionen der Testversion halten wir vor dem Start schriftlich fest. Sie stehen nicht auf dieser Seite, weil sie von Ihrer Umgebung abhängen und weil wir hier nichts zusagen, was im Einzelfall nicht gilt.
Stand · Verantwortlich: Pascal Peters, Senior Dynamics 365 CE Architect & Inhaber
Zuletzt geprüft: der Funktionsumfang und die Aussagen zur Datenhaltung.