[uylug-programming] Procesamiento de XML

[Chicken Urine]

En lugar de generar un insert para cada registro del XML, te conviene
agrupar varios inserts en una sentencia o (bastante mejor) generar un CSV y
usar load data o el sistema de carga masiva que tu rdbms utilice.


.:-:ChiCkENURiNE:-:.
+ El SPAM <http://groups.google.com/group/spam-a-lot/> tiene su lugar.


2013/6/13 Alejandro Stendelis <stendelis at gmail.com>

> Hola,
>
> Tengo un proyecto funcionando, esta realizado en PHP, el mismo se trata de
> procesar cada hora algunos archivos XML (son unos 30 archivos que pesan de
> 5 megas a 350 megas).
>
> El servicio funciona de esta manera en resumen.
>
> Legan los XML en formato .zip.
> Un cron job se fija cuando se actualizan.
> Si hay archivos de descomprimen.
> Un php toma el XML y por medio de XMLReader() lo procesa y hace unos 10
> inserts en promedio por cada XML.
> Luego se utiliza los datos de la DB para hacer funcionar un servicio.
>
> La situación hasta este momento es que lo hace muy bien, pero necesito
> acelerar el proceso de los XML, XMLReader() tarda en el XML mas grande unos
> 20 minutos, son cerca de 350 megas y unas 2.5 millones de lineas.
>
> Me imagino que haciendo un script shell o en C, que corra directamente
> sobre el servidor linux, ahorro mucho tiempo y puedo tener mas control de
> los procesos, ya que es mas nativo por así decirlo.
>
> Buscando encontré estos códigos, los cuales me imagino que uno de ellos es
> el mejor camino a seguir.
>
> Mi pregunta es, quien tiene experiencia en tratar desde scripts datos
> complejos?, y cual es el mejor camino a seguir?
> Necesitaré un programador Freelance que en algún momento tendré que
> contratar.
>
>
> http://vtd-xml.sourceforge.net/
> http://xml-shell.sourceforge.net/
> http://www.xmlsh.org/Commands
>
> http://rpbouman.blogspot.com/2006/03/importing-xml-data-into-mysql-using.html
>
> Gracias.
>
> _______________________________________________
> Uylug-programming mailing list
> Uylug-programming at listas.uylug.org.uy
> http://listas.uylug.org.uy/listinfo.cgi/uylug-programming-uylug.org.uy
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://listas.uylug.org.uy/pipermail/uylug-programming-uylug.org.uy/attachments/20130613/221c01e1/attachment-0002.htm>