Passaggio da Easy Weather a Cumulus 1.9.2

Salve a tutti, è da pochissimo che ho scoperto questo sito e con esso la possibilità di ottenere di più dalla mia stazione meteorologica PCE-FWS 20. La prima cosa che ho fatto è stato scaricare Cumulus e configurarlo (così come indicato nel forum). Appena connessa la stazione, ha scaricato i dati a partire dal 14 aprile (giorno del primo collegamento), mentre nella memoria (datalogger) del dispositivo sono presenti almeno una 10 di giorni. Come mai non sono stati importati in cumulus?. Attualmente il file "...\EasyWeather\EasyWeather.dat" della mia stazione contiene dati a partire dal 1 gennaio, non c'è modo per trasferirli in Cumulus? Un ultima cosa.
Sono 5 anni che archivio i dati salvandoli in formato CSV da EasyWeather, mi chiedevo se esisteva qualcosa in rete che potesse dato un file salvato con EasyWeather generare/aggiornare in automatico file per Cumulus. In sostanza vorrei abbandonare definitivamente EasyWeather e per fare questo vorrei che tutti i dati già salvati passassero sotto Cumulus. Si può fare?
Grazie mille.

Il mio SO è Windows7 potrebbero esserci problemi legati al formato delle date?

Ciao zar e benvenuto tra noi
Cumulus non scarica i dati precedenti il momento in cui è stato installato, tuttavia è possibile forzare lo scaricamento dei dati precedenti ed ancora presenti nel datalogger: è sufficiente editare il file today.ini (presente nella cartella Cumulus > data) e modificare il parametro timestamp mettendo la data/ora da cui si intende scaricare i dati. Vedi anche qui.

Per quanto riguarda i dati precedenti registrati con EasyWeather (5 anni !! ) purtroppo non conosco nulla che possa importare direttamente nei files di Cumulus i dati di Easyweather, tuttavia con un po' di pazienza credo sia possibile, utilizzando un editor di file CSV come CSVed manipolare i dati in modo da ricostruire la stessa struttura dei dati di Cumulus.
Io ho fatto una cosa simile tempo fa recuperando 1 mese di dati da Weather Underground per ricostruire un mese di dati Cumulus che avevo inavvertitamente perso.

Ciao Aldo

Ciao aldofer e grazie sia per il benvenuto che per la risposta! Appena possibile farò questo tentativo. Riguardo la conversione per recuperare i dati archiviati, ho pensato di scrivere una semplice applicazione che faccia la conversione. Devo prima studiarmi per bene i due tracciati (quello easy weather e quello Cumulus anzi se qualcuno sa dove trovare maggiori informazioni a proposito gli sarei molto grato) e se riesco magari potrei renderla disponibile. Anche a me è capitato di perdere circa 1 mese di dati, come faccio per recuperarli? dovrei prelevarli da un archivio di una stazione meteo simile alla mia per collocazione e tipologia giusto?

zar_cs ha scritto:....... Riguardo la conversione per recuperare i dati archiviati, ho pensato di scrivere una semplice applicazione che faccia la conversione. Devo prima studiarmi per bene i due tracciati (quello easy weather e quello Cumulus anzi se qualcuno sa dove trovare maggiori informazioni a proposito gli sarei molto grato) e se riesco magari potrei renderla disponibile.......

questa sì che sarebbe una cosa molto interessante e utile !!!
La struttura dei file dati di Cumulus la trovi nell'help di Cumulus nella sezione: Data log file format.
La struttura dei dati di Easyweather la trovi qui.

zar_cs ha scritto:..... Anche a me è capitato di perdere circa 1 mese di dati, come faccio per recuperarli? dovrei prelevarli da un archivio di una stazione meteo simile alla mia per collocazione e tipologia giusto?

nel mio caso avevo prelevato i dati della mia stazione su Weather Underground; prendere i dati da un'altra stazione anche se vicina può andar bene per la pressione e forse per la mentre per la temperatura, umidità e dipende molto dalla situazione orografica, ma se si tratta di "tappare un buco" per mantenere la continuità dei dati si può anche chiudere un occhio

Esportando tutti i dati della PCE in un file da EasyWeather otteniamo i seguenti parametri:

Codice:


No
Time
Interval(mi)
Indoor Humidity(%)
Indoor Temperature(°C)
Outdoor Humidity(%)
Outdoor Temperature(°C)
Absolute Pressure(hPa)
Wind(m/s)
Gust(m/s)
Direction
Relative Pressure(hPa)
Dewpoint(°C)
Indoor Humidity(%)
Windchill(°C)
Hour Rainfall(mm)
24 hour Rainfall(mm)
Week Rainfall(mm)
Month Rainfall(mm)
Total Rainfall(mm)
Wind Level(bft)
Gust Level(bft)


Il primo passo è quello di validare il mapping, successivamente si può pensare ad un applicativo che prenda in input un file CVS del formato easy weather, e produca in output gli n - fille prodotti da cumulus

Considerando il file meseanno.txt prodotto da Cumulus possiamo mappare i dati in questo modo (correggetemi se sbaglio):

Codice:


 data                       --> Time
 ora                       --> Time
 temperatura            --> Outdoor Temperature(°C)
 umidità                    --> Outdoor Humidity(%)
 punto di rugiada                 --> Dewpoint(°C)
 velocità vento            --> Wind(m/s)
 raffica recente
 direzione vento media         --> Direction
 rateo di pioggia                 --> Hour Rainfall(mm)
 pioggia cumulata (del giorno)      --> 24 hour Rainfall(mm)
 pressione relativa         --> Relative Pressure(hPa)
 totalizzatore pioggia         --> Total Rainfall(mm)
 temperatura interna         --> Indoor Temperature(°C)
 umidità interna                 --> Indoor Humidity(%)
 ultima raffica
 percezione termica
 indice di calore
 indice UV
 radiazione solare


Non sono riuscito ad associare i campi ultima raffica e raffica recente. Avete qualche idea?

La struttura dei dati del file meseannolog.txt di Cumulus è:
per Cumulus V.1.9.2
N.B: Cumulus v.1.9.0 solo da 1) a 19); Cumulus v.1.9.1 solo da 1) a 24)

Codice:

1)Date in the form dd/mm/yy (**)
2)Current time
3)Current temperature
4)Current humidity
5)Current dewpoint
6)Current wind speed
7)Recent (10-minute) high gust
8)Average wind bearing
9)Current rainfall rate
10)Total rainfall today so far
11)Current sea level pressure
12)Total rainfall counter as held by the station
13)Inside temperature
14)Inside humidity
15)Current gust (i.e. 'Latest')
16)Wind chill
17)Heat Index
18)UVIndex
19)SolarRadiation
20)Evapotranspiration
21)Annual Evapotranspiration
22)Apparent temperature
23)Current theoretical max solar radiation
24)Hours of sunshine so far today
25)Current wind bearing

La struttura dei dati del file easyweather.dat di EasyWeather dovrebbe essere

Codice:

record number
transfer date
reading date
reading interval
indoor humidity
indoor temperature
outdoor humidity
outdoor temperature
dew point
wind chill
absolute pressure
relative pressure
wind average (m/s)
wind average (Bf)
wind gust (m/s)
wind gust (Bf)
wind direction (da 0 a 16)
wind direction (formato testo: N, NE, SSW, ecc.)
rain 'ticks' (contatore scatti pluvio)
rain total
rain since last reading
rain in last hour
rain in last 24 hours
rain in last 7 days
rain in last 30 days
rain total
(status bit 0)
(status bit 1)
(status bit 2)
(status bit 3)
(status bit 4)
(status bit 5)
(status bit 6)
(status bit 7)
(data address)
(raw data)

Per quanto riguarda ultima raffica e raffica recente dipende anche dai setting di Cumulus: vedi qui
http://www.atmosferatoscana.com/t1525-cumulus-differenza-high-wind-high-gust

Per la conversione da un formato all'altro sono da tenere in conto:
* il separatore dei dati (punto e virgola o virgola)
* il formato di data e ora
* il separatore di data e il separatore di ora (slash, trattino, punto, due punti, ecc)
* il separatore dei decimali (punto o virgola)

Buon lavoro e.... auguri !!

Ciao e grazie. Ho cominciato a scrivere qualcosa. Leggendo sul Wiki di Cumulus ho trovato le informazioni che mi servivano. I file da creare dinamicamente dovrebbero essere tre:

1) meseanno.txt
2) dayfile.txt
3) alltime.ini

Per quanto riguarda il primo, ho rifinito il mapping inserendo qualche dato di esempio estratto da Cumulus:

Codice:


Cumulus                     Dato Easy Weather       Esempio   

1) Date in the form dd/mm/yy      --->       Time               01/10/11
2) Current time            --->      Time               04:40
3) Current temperature         --->      Outdoor Temperature(°C)         18.0
4) Current humidity         --->      Outdoor Humidity(%)         75
5) Current dewpoint         --->      Dewpoint(°C)            13.5
6) Current wind speed         --->      Wind(m/s)            5.0
7) Current wind gust         --->      Gust(m/s)            6.7
8) Current wind bearing         --->      Direction            169
9) Current rainfall rate         --->      Hour Rainfall(mm)         0.0
10) Total rainfall today so far      --->      24 hour Rainfall(mm)         0.0
11) Current sea level pressure      --->      Relative Pressure(hPa)         1021.4
12) Total rainfall counter         --->      Total Rainfall(mm)         885.3
13) Inside temperature         --->      Indoor Temperature(°C)         24.4
14) Inside humidity            --->      Indoor Humidity(%)         61
15) Current gust (i.e. 'Latest')                           5.6
16) Wind chill            --->      Windchill(°C)            18.0
17) Heat Index            --->      Calcolato da formula         18.0
18) UV Index            --->      Mancante            0.0
19) Solar Radiation            --->      Mancante            0
20) Evapotranspiration         --->      Mancante            0.00
21) Annual Evapotranspiration      --->      Mancante            0.00
22) Apparent temperature         --->      Calcolato come nella formula  17.5
23) Current theoretical max solar radiation   --->      Mancante            0
24) Hours of sunshine so far today      --->      Mancante            0.0
25) Current Wind bearing                              158


Ancora non ho capito cosa mettere per Current gust (i.e. 'Latest') e per Current Wind bearing. In particolare questo dato compare due volte nel tracciato (in posizione 8 e in posizione 25) con valori differenti.
Una differenza che ho riscontrato tra i due formati è nella rappresentazione della direzione del vento. In EasyWeather trovo i punti cardinali (E, NE, SW etc), mentre in cumulus c'è un numero (si tratta di un angolo ? posso considerare 0 per Est 90 per Nord 180 per Ovest e 270 per Sud?). Alcuni dati andrebbero calcolati, come Heat Index e la Temperatura apparente. Per il calcolo posso considerare:


http://www.bom.gov.au/info/thermal_stress/#atapproximation


http://en.wikipedia.org/wiki/Heat_index

I file (2) e (3) invece contengo i valori massimi minimi e alcune medie dei valori mappati in (1). Una volta raggruppati nel giusto formato non dovrebbe essere un problema. Sto scrivendo un semplice programma in Java che generi (per il momento) i file di tipo (1). A proposito, il nome del file (1)immagino sia standard. E' composto da una prima parte con la stringa del mese (le iniziali in inglese del mese) + le ultime due cifre dell'anno + la stringa log e l'estensione txt. Per intenderci se abbiamo dei dati del febbraio 2009, il file si chiamerà:

feb09log.txt

Per maggio 2011

may11log.txt


E' così? Grazie per il supporto

L'item n.7 della lista relativa a Cumulus non è Current wind gust bensì Recent (10-minute) high gust cioè il più alto dei picchi (Latest) degli ultimi 10 minuti.
Il dato in posizione (8 ) è Average wind bearing(media su 10 min) e il dato in posizione (25) è Current bearing
Il valore numerico è la direzione in gradi tra 0° e 360°.

Per il calcolo di Heat Index e temperatura apparente puoi usare i riferimenti che hai trovato.

Il nome del file meseannolog.txt è come dici tu ma le tre lettere del mese sono in italiano (se hai impostato Italia nelle opzioni internazionali di Windows).

aldofer ha scritto:L'item n.7 della lista relativa a Cumulus non è Current wind gust bensì Recent (10-minute) high gust cioè il più alto dei picchi (Latest) degli ultimi 10 minuti

Quindi ricapitolando i dati sul vento sono i seguenti:

7) Recent (10-minute) high gust
8) Average wind bearing
15)Current gust (i.e. 'Latest')
25)Current wind bearing

Da easy weather abbiamo:

Wind(m/s)
Gust(m/s)
Direction
Wind Level(bft)
Gust Level(bft)

Come li associo ai valori che mi servono in Cumulus?


Inoltre se la stazione meteo è impostata a campionare ogni 30 minuti come si fa a calcolare i valori negli ultimi 10 ?

Il valore numerico è la direzione in gradi tra 0° e 360°.

Ok ma mi serve sapere la direzione da cui partire e se l'angolo è percorso in senso orario oppure no.

Easy Weather imposta lo 0° a NORD e procede in questo modo assegnando 16 valori:

0 to 15. 0 is north, 1 is NNE, 8 is south, 15 is NNW

Cumulus ne assegna 360 partendo sempre da Nord e procedendo in sento antiorario?

Perdonami se ti faccio tutte queste domande e grazie per le risposte e i chiarimenti.

(a) Confermo il significato degli item (7) (8 ) (15) mentre per il (25) confermo Current Wind bearing nel significato di Valore corrente della direzione del .
Questo è quanto dice l'help di Cumulus

(b) Per quanto riguarda la corrispondenza Easyweather==>Cumulus

Wind==>Current wind speed
Gust==>Current gust (i.e. 'Latest')
Direction==>Current wind bearing

I valori di Wind Level(bft) e Gust Level(bft) secondo la scala Beaufort, sono calcolati da Cumulus e visualizzati sul relativo display (solo wind level) ma non sono invece riportati nel file meseannolog.txt.

Da notere che l'unità di misura per il in EasyWeather non è necessariamente m/sec, ma quella che è stata impostata nel setup

(d) Non so come Cumulus calcola la media sui 10 min se l'intervallo di campionamento è 30 min (forse fa la media sui 30 minuti....)

(e) La direzione è espressa in gradi da 0° a 360° con Nord=0° (o 360°) Est=90° Sud=180° Ovest=270°

Ciao Aldo

Grazie come sempre per le utili indicazioni.

File <Mese><Anno>log.txt.

Devo essere sincero, non mi è chiaro come Cumulus calcoli i dati riguardanti il vento. Per il momento ho lasciato i campi (7) e (8) non valorizzati:

7) Recent (10-minute) high gust
8) Average wind bearing
15)Current gust (i.e. 'Latest')
25)Current wind bearing

Mentre il campo (15) lo valorizzo prelevando dal tracciato di easyWeather il campo (15):

15 wind gust floating point metres / second

il campo (25) lo valorizzo prelevando dal tracciato di easyWeather il campo (17) operando la giusta conversione

17 wind direction integer 0 to 15. 0 is north, 1 is NNE, 8 is south, 15 is NNW

Quindi a parte (7) e (8) riesco a costruire il file.

Nel caso in cui uno dei campi non sia rilevabile (problemi di trasmissione o batteria scarica), cosa compare nel tracciato? E' possibile avere un record in cui alcuni campi non siano calcolabili?

File DayFile.txt

Su questo file ho qualche dubbio, ancora una volta sul vento e sui dati del pluviometro. Considerando il tracciato descritto in:

http://wiki.sandaysoft.com/a/Dayfile.txt

Non capisco il significato (e come associarli ai dati ricavati da EasyWeather) di:

12: Maximum rainfall rate
16: Total wind run
17: Highest Average Wind Speed
18: Time of Highest Avg. Wind speed
39: Today's dominant/average wind direction
40: Heating degree days
41: Cooling degree days

File Alltime.ini

Considerando il tracciato descritto qui:

http://wiki.sandaysoft.com/a/Alltime.ini

Vorrei dei chiarimenti su questi dati:

hightemprangevalue
lowtemprangevalue
highdailywindrunvalue
highdailyrainvalue


Ho realizzato una prima versione dell'applicativo (per il momento genera i file senza i dati dei valori di cui non sono sicuro). Ho provato a spostare i file generati nella cartella /data e Cumulus riesce a leggerli. Appena avrò testato meglio il funzionamento, posterò il jar qui sul forum insieme ad una guida su come utilizzarlo.

zar_cs ha scritto:.....Devo essere sincero, non mi è chiaro come Cumulus calcoli i dati riguardanti il . Per il momento ho lasciato i campi (7) e ( non valorizzati:....

In effetti può sembrare così, ma devi tenere conto che Cumulus supporta diversi tipi di stazioni meteo, che hanno modalità di misura del anche piuttosto differenti e Cumulus cerca di soddisfare un po' tutti...Le spiegazioni (che ho trovato sparpagliate sul Forum di Cumulus) le ho sintetizzate, per quanto ho capito io, in questo schemino:

dove per "Console PCE" devi intendere easyweather.dat; mentre per "Cumulus" devi intendere il Display principale di Cumulus.

File <Mese><Anno>log.txt.
La corrispondenza tra Display di Cumulus ed il file meseannolog.txt, va intesa così:
Latest ==> 15) Current Gust
Gust ==> 7) Recent (10 min) High Gust
Average ==> 6) Current Wind Speed

Il parametro 8 ) Average Wind Bearing dovrebbe essere semplicemente la media delle letture di 25) Current Wind Bearing nei 10 minuti.

Se ci sono dei campi non rilevabili non ti resta che dare un valore zero

File dayfile.txt
Questo file ti conviene derivarlo dal file meseannolog.txt come fa Cumulus, e non da easyweather.dat.
12: Maximum rainfall rate ==> Valore massimo del giorno del parametro 9) Current rainfall rate
16: Total wind run ==> Percorso totale del (integrale di Current Wind Speed lungo le 24ore)
17: Highest Average Wind Speed ==> Valore massimo del giorno del parametro 6) Current wind speed
18: Time of Highest Avg. Wind speed ==> Ora a cui è stato rilevato il valore massimo suddetto
39: Today's dominant/average wind direction ==> Presumo sia la media delle direzioni del nella giornata
40: Heating degree days ==> Gradi-giorno di riscaldamento (Integrale lungo le 24 ore della differenza tra temperatura esterna e temperatura base di riferimento per il riscaldamento .Vedi Nota 1)
41: Cooling degree days ==>Gradi-giorno di raffreddamento (Integrale lungo le 24 ore della differenza tra temperatura esterna e temperatura base di riferimento per il condizionamento .Vedi Nota 2)

Nota 1: Temperatura esterna al di sopra della quale non è necessario accendere il riscaldamento (ad es: 65°F o 18.3 °C)
Nota 2: Temperatura esterna al di sotto della quale non è necessario accendere il condizionamento (ad es: 80°F o 26.7 °C)


File Alltime.ini

hightemprangevalue= massima escursione termica giornaliera
lowtemprangevalue= minima escursione termica giornaliera
highdailywindrunvalue= massimo percorso del giornaliero
highdailyrainvalue= massimo cumulato giornaliero

Visto che la mia stazione campiona a 30 minuti e le medie sono calcolate su 10 minuti i due campi:

7) Recent (10-minute) high gust
8) Average wind bearing

Li posso equiparare alle misure istantanee, quindi nel calcolo prendo da easyWeather i valori di Gust e Direction.

aldofer ha scritto:
File dayfile.txt[/b]
16: Total wind run ==> Percorso totale del vento (integrale di Current Wind Speed lungo le 24ore)
40: Heating degree days ==> Gradi-giorno di riscaldamento (Integrale lungo le 24 ore della differenza tra temperatura esterna e temperatura base di riferimento per il riscaldamento .Vedi Nota 1)
41: Cooling degree days ==>Gradi-giorno di raffreddamento (Integrale lungo le 24 ore della differenza tra temperatura esterna e temperatura base di riferimento per il condizionamento .Vedi Nota 2)

Nota 1: Temperatura esterna al di sopra della quale non è necessario accendere il riscaldamento (ad es: 65°F o 18.3 °C)
Nota 2: Temperatura esterna al di sotto della quale non è necessario accendere il condizionamento (ad es: 80°F o 26.7 °C)

Quando parli di "integrale" nei tre casi sopra citati, intendi proprio il calcolo di un integrale definito? Lungo le 24 ore? Potresti postarmi le formule?

aldofer ha scritto:

File Alltime.ini

highdailywindrunvalue= massimo percorso del vento giornaliero

Immagino sia il valore massimo calcolato (in assoluto) del:

16: Total wind run

Grazie come sempre per la pazienza e la cortesia

zar_cs ha scritto:Quando parli di "integrale" nei tre casi sopra citati, intendi proprio il calcolo di un integrale definito? Lungo le 24 ore? Potresti postarmi le formule?

Per integrale intendo proprio "quello" che però in questi casi è piuttosto semplice:

(a) Total wind run (percorso totale del Vento)

P=∑ (dt*W)/60
dove:
dt=intervallo di misura in minuti
W=Current Wind Speed in Km/h
P=Percorso Vento in km
∑=sommatoria di.....nelle 24 ore

(b) Cooling degree days (Vedi Nota)

CDD=∑ [(Tbase-Temp)*dt]/1440
dove:
dt=intervallo di misura in minuti
Temp=temperatura
Tbase=Temperatura base di riferimento

(c) Heating degree days

HDD=∑ [(Tbase-Temp)*dt]/1440

NOTA: Da notare che i Gradi giorno calcolati con questo metodo sono diversi dai Gradi giorno calcolati secondo la normativa italiana per determinare le zone climatiche. La differenza concettuale sta nel fatto che la normativa Italiana considera la differenza tra temperatura interna (convenzionalmente posta a 20°C) e la temperatura media esterna.

zar_cs ha scritto:

aldofer ha scritto:
File Alltime.ini
highdailywindrunvalue= massimo percorso del giornaliero

Immagino sia il valore massimo calcolato (in assoluto) del:
16: Total wind run
Grazie come sempre per la pazienza e la cortesia

Sì è proprio quello .

Ciao Aldo

In allegato a questo messaggio una prima versione dell'applicativo "easy2cumulus". Il funzionamento è il seguente. Dato in input un file di tipo CSV (prodotto da EasyWeather utilizzando la export di tutti i campi comprese le intestazioni) oppure il file EasyWeather.dat presente nella home di easy weather, produce in output i seguenti tre file di Cumulus:

1 meseanno.txt
2 Alltime.ini
3 dayfile.txt

Come solo prerequisito occorre avere installato sul proprio PC la versione 1.6 o successiva della Java Virtual Machine. Potete scaricarla dal sito:

http://www.java.com/it/download/manual.jsp

Successivamente bisogna scompattare il file easy2cumulus.zip in una cartella e da riga di comando lanciate il seguente:

java -jar easy2cumulus.jar <par1> <par2>

Dove:
1) al posto di <par1> bisogna inserire il path completo della cartella dove salvare i file prodotti per cumulus.
2) al posto di <par2> il percorso completo del file di input

Esempio dalla mia macchina lo lancio così:

C:\easy2cumulus>java -jar easy2cumulus.jar C:\\Users\\temp\\Desktop\\meteo\\temp C:\\Users\\temp\\Desktop\\meteo\\meteo\\EasyWeather.dat

Si tratta della prima versione. Non ho avuto il tempo per eseguire un test approfondito. Spostando i file prodotti nella cartella data di Cumulus, si riescono a leggere i valori estremi (selezionando View--> All Time),e a ricavare i dati impostando un periodo predefinito (View -->This Period). Naturalmente il tutto funziona se i dati sono salvati nelle seguenti unità di misura.

Velocità m\s
Temperature °C
Pressione millibars
Precipitazioni mm


Attendo commenti.


[FILE AGGIORNATO]