Auslesen von Preisen einer Liste von Online Shop zwecks Preisvergleich

Projektbeschreibung Vorwort Der Auftraggeber betreibt einen Online Shop in dem Produkte angeboten werden die ständigen Preisschwankungen unterworfen sind. Die Vorliegende Anforderung beschreibt ein System mit dem es dem Auftraggeber möglich sein soll, die Preise der Wettbewerber zu vergleichen und im Auge zu behalten. Die gewonnenen Daten sollen nicht veröffentlicht werden, sondern werden genutzt um den Aufwand zu minimieren den eigenen Kunden das bestmögliche Angebot zu unterbreiten. Das Projekt unterteilt sich in zwei Teile, erst wenn Projekt Teil 1 erfolgreich abgeschlossen wurde, wird der Auftrag für den zweiten Teil erteilt. 1. Automatische Datenerfassung: Regelmäßig die aktuellen Produktpreise einer Liste von Online Shops auslesen, Vergleichbar machen und zur Verfügung stellen. 2. Verarbeitung und Darstellung: Preisvergleich mit festgelegten Regeln und Produktbezogener Aktualisierung. Webfrontend zur Steuerung, Baumstrucktur aller Kategorien, verschiedene Listendarstellungen und Darstellung bis auf Produktsicht mit Link zum jeweiligen Shop. 1.1 Eine Liste mit Domains von Online Shops (txt, csv) wird eingelesen, diese Liste wird bis zur Änderung fest hinterlegt und immer wieder abgearbeitet. Die Shops werden nach Kategorien durchsucht und die gefundenen Produkte Sortiert inkl. Preise, einiger variabler Attribute und Verfügbarkeit in einer Datenbank abgelegt. Wichtig: Die Schreibweisen der Produkte unterscheiden sich und müssen zwecks Vergleichbarkeit angeglichen werden (g, gramm, kg, ü, ue usw). Zusätzlich gibt es eine Unterscheidung verschiedener Jahrgänge (2012, 2013, 2014, usw) sowie “verschiedene” bzw. “diverse”. Diese müssen erkannt und unterschieden werden. Formatvorlagen werden geliefert. 1.2 Das Aktualisieren der Datenbank erfolgt in einem festen Invervall, in der Regel alle 24h um 9 Uhr. Dieser Wert lässt sich einstellen, bei Bedarf kann die Aktualisierung manuell ausgelöst werden. 1.3. Die Rohdaten je Shop lassen sich als Datei (txt, csv) auslesen bzw. werden auf einem Web-/FTP-Server abgelegt. Herausforderungen: Einige Shops zeigen beim Aufruf der Webseiten nicht alle Produkte an, entweder muss die Darstellung durch Klick auf einen Button “Mehr Anzeigen” oder ähnlich erweitert werden, in fast allen Fällen müssen mehrere Seiten “durchgeblättert” werden. Je nach Länge der Liste, der zur Verfügung stehenden Rechenleistung und der Geschwindigkeit der Internetverbindung kann die Abfrage zeitintensiv werden, daher sollen Möglichkeiten zur Effizienzsteigerung vorgesehen werden. Zusätzlich muss eine Log-Datei erstellt werden, aus der mögliche Fehler hervorgehen und die Dauer der einzelnen Abfragen dokumentiert wird. Wenn jeden Tag von der gleichen IP-Adresse automatisierte Abfragen erfolgen, könnten einige Shopbetreiber ggf. auf die Idee kommen den Datenabruf zu unterbinden oder den Zugriff zu sperren. Daher soll von vorneherein eine Möglichkeit geschaffen werden, die Abfragen über mehrere Wege zu verteilen. Denkbar wäre auch den Abruf über ein lokales Clientprogramm (Windows-PC mit dynamischer IP) zu realisieren oder Proxy Server zu verwenden (Performance?). Vorschläge werden gerne angenommen. Bis zur Realisierung von Teil 2 werden die Daten manuell per Tabellenkalkulation ausgewertet. 2.1 Analyse und Darstellung der Daten --- Beschreibung folgt ---