CSVMinimizer - Verringern der Datensatz- oder Spaltenanzahl in CSV-Dateien

Mal ganz ehrlich: Nicht jede größere Datensammlung zählt gleich zu Big Data - für mich eine Datenmenge ab einem Terabyte. Doch damit können die meisten Unternehmen (noch) nicht umgehen - ebenso wenig wie ein "Normalsterblicher" wie ich. Mit mehreren Gigabyte aber schon eher - mit mehreren Hundert Gigabyte vielleicht. Letzteres kann dann auch nur mit speziellen Werkzeugen bewältigt werden - insbesondere wenn die Datenmenge direkt verarbeiten werden soll. Und diese Werkzeuge können/dürfen oder sollen wiederum nicht in jeder IT-Infrastruktur eingesetzt werden. Schach Matt!

So hat auch Microsoft Excel als die in Unternehmen am meisten eingesetzte Software für den Umgang mit in Tabellenform vorliegenden Daten seine Grenzen bei größeren Datenmengen. Oft können externe Daten über die Importschnittstelle nicht reibungslos eingelesen werden. Es braucht gerade im Netzwerk sehr, sehr lange oder friert komplett ein - ein Weiterarbeiten wird unmöglich. Und Microsoft Power Pivot als eine naheliegende Alternative kann/darf oder soll nicht eingesetzt werden.

Einer meiner Kunden hatte das Problem. Eine durch ein anderes System bereitgestellt CSV-Datei (eine Nur-Text-Datei, in der die Werte in einer Zeile getrennt durch ein gleichbleibendes Trennzeichen gespeichert sind) war zu groß für einen "vernünftigen" Import - doch eigentlich wurden gar nicht alle Datensätze benötigt. Zum Glück konnten vorab Bedingungen zur Eingrenzung der Datenmenge formuliert werden und ich konnte mit meinem daraufhin entwickelten CSVMinimizer eine verkleinerte Version der CSV-Datei für die weitere Verarbeitung bereitstellen. Aber ich hätte auch gleich eine Microsoft Excel liefern können.

Doch nicht nur Microsoft Excel kann Probleme mit dem Import größerer Datenmengen aus CSV-Dateien haben. Sicherlich wird auch dann der CSVMinimizer durch die Reduktion der Datensatzanzahl helfen können. Wobei er mittlerweile auch komplett überflüssige Spalten entfernen kann.

Auch der CSVMinimizer wurde auf eigene Initiative und nicht im Auftrag erstellt. Mit ihm erbringe ich eine Dienstleistung - er wird nicht als Werkzeug weitergegeben. Es muss vorab kein gemeinsames Daten-/Versandprojekt bestanden haben. Für die Ausführung der Dienstleistung berechne ich 15 min auf Basis meines → aktuellen Stundensatzes. Denken Sie bei personenbezogenen Daten an das Thema "Datenschutz".