Gfoss -- Geographic Free and Open Source Software - Italian mailing list

Postgres/Postgis - Bulk/Batch Upload

_‹ Previous Topic Next Topic _›

Classic

List

Threaded

8 messages Options

Alessandro Gentili

Postgres/Postgis - Bulk/Batch Upload

Buongiorno a tutti,

E' già qualche tempo che cerco nei meandri di internet ma con scarso successo riguardo l'oggetto dell'email.
Quello di cui ho bisogno (sempre se esiste) è avere un tool che mi permetta di caricare molti shp in postgis (per molti intendo migliaia) e non mi costringa a fare uno per uno o qualcosa di simile. Potrei unirli in shp più grandi ma eviterei molto volentieri.

Ho provato SPIT ma purtroppo non ho un bel rapporto con quel plugin ed a quanto dice il buon Paolo è anche obsoleto o quantomeno sorpassato.
Prima di passare a cercare qualche modo alternativo volevo chiedere a voi se eravate incappati in un problema simile e come avevate risolto.

Grazie a tutti in anticipo

Alessandro Gentili

email: [hidden email]

_______________________________________________
Iscriviti all'associazione GFOSS.it: http://www.gfoss.it/drupal/iscrizione
[hidden email]
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
Non inviate messaggi commerciali.
I messaggi di questa lista non rispecchiano necessariamente
le posizioni dell'Associazione GFOSS.it.
540 iscritti al 4.11.2011

pcav

Re: Postgres/Postgis - Bulk/Batch Upload

Il 24/11/2011 09:16, Alessandro Gentili ha scritto:

Quello di cui ho bisogno (sempre se esiste) è avere un tool che mi permetta di caricare molti shp in postgis (per molti intendo migliaia) e non mi costringa a fare uno per uno o qualcosa di simile. Potrei unirli in shp più grandi ma eviterei molto volentieri.

Se sono migliaia, vale davvero la pena di andare da linea di comando, e usare shp2pgsql, la soluzione piu' flessibile.
Alternative:
- forse la gui incorporata in postgis lo fa
- aspetti poche settimane, e nel nuovo DB Manager ci sara' questa funzione (se dai una mano, le cose andranno piu' veloci).
Saluti.

-- 
Paolo Cavallini
See: http://www.faunalia.it/pc

Alessandro Gentili

Postgres/Postgis - Bulk/Batch Upload

Beh.. più che disposto nel dare una mano. L'unico problema è che non so come darla.

Alessandro

Date: Thu, 24 Nov 2011 09:19:58 +0100
From: [hidden email]
To: [hidden email]
Subject: Re: [Gfoss] Postgres/Postgis - Bulk/Batch Upload

Il 24/11/2011 09:16, Alessandro Gentili ha scritto:

Quello di cui ho bisogno (sempre se esiste) è avere un tool che mi permetta di caricare molti shp in postgis (per molti intendo migliaia) e non mi costringa a fare uno per uno o qualcosa di simile. Potrei unirli in shp più grandi ma eviterei molto volentieri.

-- 
Paolo Cavallini
See: http://www.faunalia.it/pc

_______________________________________________ Iscriviti all'associazione GFOSS.it: http://www.gfoss.it/drupal/iscrizione [hidden email] http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. Non inviate messaggi commerciali. I messaggi di questa lista non rispecchiano necessariamente le posizioni dell'Associazione GFOSS.it. 540 iscritti al 4.11.2011

Luca Sigfrido Percich

Re: Postgres/Postgis - Bulk/Batch Upload

In reply to this post by Alessandro Gentili

Ciao Alessandro,

io uso quotidianamente ogr2ogr per caricare un centinaio di tabelle da
MapInfo a PostGIS, con gli shape è la stessa cosa.

Nel mio caso ho un tool di metadati che genera le create table PostGIS
così come lo script di caricamento con le opzioni OGR appropriate per
ogni layer, ma se nel tuo caso è sufficiente copiare direttamente le
tabelle in un DB senza modificarne la struttura, è piuttosto semplice
automatizzare le cose anche usando semplicemente uno script bash, del
tipo:

--

#! /bin/bash

...

for SHP in $SHAPELIST
do

ogr2ogr --config PG_USE_COPY YES -append -update -a_srs EPSG:3003 -f
'PostgreSQL' "PG:host=$host dbname=$dbname user=$dbuser password=
$dbpassword active_schema=$dbschema" "$src_path/$SHP.shp"

done

--

Ovviamente dovrai settare le variabili nell'esempio precedente con
opportuni valori. $SHAPELIST può essere un elenco di file che gli passi
tu o che genera dal contenuto di una directory

Sig

Il giorno gio, 24/11/2011 alle 09.16 +0100, Alessandro Gentili ha
scritto:

> Buongiorno a tutti,
>
> E' già qualche tempo che cerco nei meandri di internet ma con scarso
> successo riguardo l'oggetto dell'email.
> Quello di cui ho bisogno (sempre se esiste) è avere un tool che mi
> permetta di caricare molti shp in postgis (per molti intendo migliaia)
> e non mi costringa a fare uno per uno o qualcosa di simile. Potrei
> unirli in shp più grandi ma eviterei molto volentieri.
>
> Ho provato SPIT ma purtroppo non ho un bel rapporto con quel plugin ed
> a quanto dice il buon Paolo è anche obsoleto o quantomeno sorpassato.
> Prima di passare a cercare qualche modo alternativo volevo chiedere a
> voi se eravate incappati in un problema simile e come avevate risolto.
>
> Grazie a tutti in anticipo
>
> Alessandro Gentili
>
> email: [hidden email]
>
>
> Facebook Twitter LinkedIn
>
>
> _______________________________________________
> Iscriviti all'associazione GFOSS.it: http://www.gfoss.it/drupal/iscrizione
> [hidden email]
> http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
> Questa e' una lista di discussione pubblica aperta a tutti.
> Non inviate messaggi commerciali.
> I messaggi di questa lista non rispecchiano necessariamente
> le posizioni dell'Associazione GFOSS.it.
> 540 iscritti al 4.11.2011

Andrea Peri

Re: Postgres/Postgis - Bulk/Batch Upload

In reply to this post by Alessandro Gentili

>E' già qualche tempo che cerco nei meandri di internet ma con scarso successo riguardo l'oggetto dell'email.
>Quello di cui ho bisogno (sempre se esiste) è avere un tool che mi permetta di caricare molti shp in postgis 

>(per molti intendo migliaia) e non mi costringa a fare uno per uno o qualcosa di simile. 
>Potrei unirli in shp più grandi ma eviterei molto volentieri.

per windows, eccola qui.

http://trac.osgeo.org/postgis/wiki/UsersWikiBatchLoadShapefilesForWindowsUsingShp2pgsql

--
-----------------
Andrea Peri
. . . . . . . . .
qwerty àèìòù
-----------------

_______________________________________________
Iscriviti all'associazione GFOSS.it: http://www.gfoss.it/drupal/iscrizione
[hidden email]
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
Non inviate messaggi commerciali.
I messaggi di questa lista non rispecchiano necessariamente
le posizioni dell'Associazione GFOSS.it.
540 iscritti al 4.11.2011

pcav

Re: Postgres/Postgis - Bulk/Batch Upload

In reply to this post by Alessandro Gentili

Il 24/11/2011 09:40, Alessandro Gentili ha scritto:

Beh.. più che disposto nel dare una mano. L'unico problema è che non so come darla.

UNa prima cosa e' testare il plugin DB Manager in modo approfondito, e riferire i possibili problemi o migliorie necessarie. Anche una traduzione delle stringhe (mettendosi d'accordo con lo sviluppatore) e la scrittura di documentazione sono utili.
Ovviamente anche contributi in termini di codice o di risorse sono anche piu' importanti, per chi se li puo' permettere.
Saluti, e grazie.

-- 
Paolo Cavallini
See: http://www.faunalia.it/pc

Alessandro Gentili

Re: Postgres/Postgis - Bulk/Batch Upload

Riprendo una mia domanda fatta qualche settimana fa per ringraziarvi nuovamente per i suggerimenti.

Sono riuscito a risolvere il problema del caricamento in batch di molti shp.
In più ho creato sul Wiki una pagina con il procedimento per la creazione di tale file.

http://wiki.gfoss.it/index.php/Importare_molti_Shapefile_dentro_Postgres/Postgis_-_Batch_Process

Spero sia utile a qualcuno.

Inoltre mi piacerebbe che questa procedura sia tradotto anche per Linux.
Purtroppo non ho esperienza in quanto a linea di comando Linux quindi se qualcuno vuole integrare il wiki con la procedura in linguaggio Linux è il benvenuto, penso sia sufficiente interpretarla e tradurla.

Alessandro

Il 24/11/2011 15:54, Paolo Cavallini ha scritto:

Il 24/11/2011 09:40, Alessandro Gentili ha scritto:

Beh.. più che disposto nel dare una mano. L'unico problema è che non so come darla.

UNa prima cosa e' testare il plugin DB Manager in modo approfondito, e riferire i possibili problemi o migliorie necessarie. Anche una traduzione delle stringhe (mettendosi d'accordo con lo sviluppatore) e la scrittura di documentazione sono utili.
Ovviamente anche contributi in termini di codice o di risorse sono anche piu' importanti, per chi se li puo' permettere.
Saluti, e grazie.
-- 
Paolo Cavallini
See: http://www.faunalia.it/pc
_______________________________________________
Iscriviti all'associazione GFOSS.it: http://www.gfoss.it/drupal/iscrizione
[hidden email]
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
Non inviate messaggi commerciali.
I messaggi di questa lista non rispecchiano necessariamente
le posizioni dell'Associazione GFOSS.it.
540 iscritti al 4.11.2011

Andrea Peri

Re: Postgres/Postgis - Bulk/Batch Upload

In reply to this post by Alessandro Gentili

>Tutto quello che ricade all'interno di questo simbolo *** sono miei
>commenti e per tanto vanno rimossi alla fine della creazione del file
>(simbolo compreso)

Mettici un REM davanti cosi' diventano commenti e non serve piu rimuoverli.

Andrea.
_______________________________________________
Iscriviti all'associazione GFOSS.it: http://www.gfoss.it/drupal/iscrizione
[hidden email]
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
Non inviate messaggi commerciali.
I messaggi di questa lista non rispecchiano necessariamente
le posizioni dell'Associazione GFOSS.it.
540 iscritti al 4.11.2011