Parsing gros fichier XML 300Mo

Je crois qu'il y en a quelques un sur le forum qui utilisent les XML fournis par Webmastravel. Je voulais savoir comment vous faisiez pour parser les fichiers XML super lourds.

Est-ce que vous faites ça avec PHP (ou ASP) ? Vous avez développé un script en C sur votre serveur ?

J'aimerai pouvoir parser un fichier de 300Mo et enregistrer les items dans une base mysql mais là je ne vois pas comment faire vu le poid  ...

Merci pour votre aide !

Si tu le fait en PHP change le time_limit. Si tu veux parser le fichier sur ton hebergement mutualisé tu n'as pas le choix, si tu as un serveur dédié tu peux écrire un programme que tu peux appeller en PHP ou avec un Cron

Moi c'etait un fichier CSV et pas XML.

Jai dabord utiliser un file_get_contents pour avoir le fichier. Mais ca prenais enormement de memoire et etais tres long a charger. (Jai jamais attendu la fin)

Alors je fait un fgets et je lisait le fichier 1 ligne a la fois
http://www.php.net/manual/fr/function.fgets.php

Jai executer le script 1 seule fois et je ne me souvient vraiment pas le temps que ca avais pris.

Si ton XML est bien former avec une fin de ligne a la fin de chaque tag. Tu pourrais faire la meme chose. Lire 1 ligne a la fois du fichier et analyser avec un regex ou strpos le plus rapide chaque string.

Essaye dabord un fread pour le stocker localement le fichier (je suppose que tu utilise un fget/file_get_content et tu travail sur une variable ?)
Avec un fread-fwrite pour ecrire le fichier localement tu devrait sauver du temps. Le disque dur est plus rapide que la connextion internet. Et tu va p-e tomber en timeout si tu lanalyse direct de la connection.
Tu va deja savoir combien ca prend de temps de le copier venant du site web au disque dur.

Si tu utilise la fonction XML de php5 ou le charger dans un array ou autre fonction xml de php4, ca va etre impossible ca c'est sur. Le xml parse dabord le fichier pour voir si il est valid et le re-parse pour le mettre dans un array. Un array prend plusieurs fois ca taille en memoire a cause de la facon dont il est stocker.

Jespere que ca va taider

C'est un serveur Linux, ca marcherai un exe sous Dotnet ?

J'ai demandé sur un autre forum, y a pas mal de monde qui utilise SimpleXML et PHP5 ...

Je crois que je vais prendre un petit serveur dédié chez OVH pour avoir PHP5 et de la ressource serveur pour essayer.