Energy Hackathon 2013 Data Sets

Please note that all of these data sets are not available as open data! Which means that they can be used for some experiments in the context of the hackathon, but publishing the experiments would break the copyright licence.

( This information was originally gathered into an Etherpad page: http://fi.okfnpad.org/energy-hackathon-2013-data-sets )


ENERGY DATA

DOMESTIC ENERGY CONSUMPTION DATA

1. From Elenia

ELENIA DATA SETS HERE: http://juhahuuskonen.fi/2013/energy-hackathon/elenia/

Contact person: Lauri Anttila

– FamilyHouseHold.xlsx Nelihenkisen perheen kulutus sähkölämmitteisessä omakotitalossa. A four member family home heated with electricity, yearly electricity consumption per each day & night with outside temperatures.

– Summerhouse.xlsx A summer cottage, yearly energy consumption per day & night with outside temperatures. The summer cottage is heated with electricity. During winter the heating is kept on minimum to avoid freezing pipes.

– OKT_Nokia.xlsx A four member family home in Nokia, heated with electricity, hourly electricity consumption for January-April 2013 with outside temperatures

– OKT_Nokia.xlsx A four member family home in Nokia, heated with electricity, hourly electricity consumption for January-April 2013 with outside temperatures

2. From Helsingin Energia

Contact person: Jukka Helin

– keskusta-1-vuoden-alusta.csv – Helsinki Centre – Hourly electricity consumption, beginning of 2013 (1.1.2013-25.4.2013) – One building, approx 50 apartments/measurement points – This data set can be used in the context of Energy Hackathon but not published otherwise.

– keskusta-2-vuoden-alusta.csv – Helsinki Centre – Hourly electricity consumption, year 2012 – One building, approx 30 apartments/measurement points – This data set can be used in the context of Energy Hackathon but not published otherwise.

– paloheina-2012.csv, paloheina-vuoden-alusta.csv – Helsinki / Paloheinä suburb – Hourly electricity consumption, year 2012 – Approx 20 private apartments (pientaloalue) – Hourly electricity consumption, beginning of 2013 (1.1.2013-25.4.2013) – Approx 300 private apartments (pientaloalue) (different apartments than the 2012 ones) – This data set can be used in the context of Energy Hackathon but not published otherwise.

– Lampotila-vuoden-alusta.csv – Hourly measured temperature from the beginning of the year, Kaisaniemi measuring station

– HEKA-kiinteistodatat

Kaupungin vuokra-asuntokiinteistöistä kiinteistödataa. Mukana on kiinteistön sähkönkulutus (ei sisällä asukkaiden kulutusta) sekä koko kiinteistön lämmönkulutus ja kaukolämpöveden virtaama (sisältää  asukkaiden kotien lämmityksen). Me mittaamme aina noita kolmea lukua, eli sähkön tuntikulutusta, lämmön  kumulatiivista kulutusta sekä lämmön kumulatiivista virtaamaa. Lämmön  tiedoista voi sitten laskea eri tarkoitusta varten esim. tuntikohtaisen  käytön tai meno- ja paluuveden lämpötilaeron. Tein teille ensimmäiseen käyttöpaikkaan esimerkiksi nuo laskuharjoitukset, jos haluatte, niin samat voi tehdä muillekin.

Miksi kaukolämmön paluuveden lämpötilalla on väliä?

  1. Mitä pienempi kaukolämmön paluuveden lämpötila niin sitä suurempi lämpötilaero meno- ja paluuveden välillä, jolloin  kaukolämpövettä tarvitsee sähköllä toimivilla pumpuilla kierrättää verkostossa vähemmän kuin pienellä lämpötilaerolla. Eli säästyy sähköä.

  2. Mitä pienempi kaukolämmön paluuveden lämpötila niin sitä pienemmät lämpöhäviöt syntyvät paluujohdossa.

  3. Jos yhteistuotantovoimalaitokselle palaavan kaukolämpöveden lämpötila on suurempi kuin voimalaitokselle ominainen  paluulämpötila (optimi lämpötila) olisi, niin voimalaitoksesta ei saada niin paljon sähköä tuotettua kuin optimilämpötilassa. Jolloin yhteistuotantolaitoksessa tuottamatta jäänyt sähköä täytyy  tuottaa hiililauhdelaitoksissa, joidenka polttoainehyötysuhde on huomattavasti huonompi kuin yhteistuotannossa. (vrt 90 % 45 %)

3. An open API for hourly domestic energy consumption measurement

Contact persons: Jarkko Lehtonen, Teemu Nurminen

FOR HACKTAHON USE:

http://www.avointuntimittaus.fi/tap_reference.pdf

To use randomly generated example dataset, add “testiaineisto=1” URL parameter http://api.avointuntimittaus.fi:8081/api/v1/asiakas/AS456?testiaineisto=1

Background information and details of the API interface (in Finnish): http://energia.fi/julkaisut/69

Demo applications: http://www.avointuntimittaus.fi/demo.htm

In the Hackathon this API can be used with a test database. The test data is has been generated from real energy consumption data (so it’s not real data, but in practice similar to real data).

The test data base contains hourly data for the whole year 2012. The data base contains: – 1200 measurement spots – 1189 clients – 1000 accounts – 10 ‘muuntopiiriä’ (what is this in English?)

Technically, any application that works with the test data can be easily made to work with real data (if there is an agreement about authorizing the access to data).

Same in Finnish: APIn takana oleva testikanta, jossa on käyttöpaikkoja 1 200 kpl, asiakkaita 1 189 kpl, liittymiä 1 000 kpl ja muuntopiirejä 10 kpl. Demoaineistoon on liitetty tuntidataa aikavälille 1.1.2012 – 31.12.2012. Testikannassa olevat sarjat eivät siis ole todellisia vaan ne on varioitu erilaisista tyyppikuormituskäyristä. Kaikki APIin testidatalle tehdyt sovellukset toimivat sellaisenaan myös oikealle datalle, kunhan syöttää oikeat käyttäjätunnukset, joten siinä mielessä toimivien sovellusten tekeminen ei välttämättä edellytä oikean datan mukanaoloa.

Here’s an ruby program that gets the data from API: (By Esa Mäkinen. License: Public Domain)

# encoding: utf-8
require 'mechanize'
 agent = Mechanize.new
# One usage place details
 # page = agent.get "http://api.avointuntimittaus.fi:8081/api/v1/kayttopaikka/TK0001?testiaineisto=1"
# All the usage places
 # page = agent.get "http://api.avointuntimittaus.fi:8081/api/v1/kayttopaikat?testiaineisto=1"
# Viikkoraportti / Weekly report
 # page = agent.get "http://api.avointuntimittaus.fi:8081/api/v1/raportti/viikko/kayttopaikka/TK0002?viikko=2&vuosi=2012&testiaineisto=1"
# Päiväraportti / Daily report
 page = agent.get "http://api.avointuntimittaus.fi:8081/api/v1/raportti/vuorokausi/kayttopaikka/TK0002?pvm=2012-11-27&testiaineisto=1"
File.open("tulos.txt", 'w') {|f| f.write(page.body) }
# puts page.body


DOMESTIC ENERGY CONSUMPTION DATA / NOTES

We can try to get our hands on the domestic energy consumption data at least in 4 different ways:

  • Via energy companies We  are currently in dialogue with Helsingin Energia (Jukka Helin) and  Elenia (Lauri Anttila) regarding consumer’s energy consumption data. We will get in touch with other energy companies as well.

  • By collecting data from voluntary ‘donators’ We could ask people to send their energy consumption data for the hackathon participants use as example data.

  • By using devices that have been especially made for this Examples:

  • Open Energy Monitor – http://openenergymonitor.org/emon/emoncms
  • Air Quality Egg – http://airqualityegg.com
  • Smart citizen effort ( like the air quality egg – based in Spain ) http://smartcitizen.me/en/

  • By hacking the closed interfaces Energy companies currently offer their own applications that can read customer’s energy consumption data. These interfaces are relatively easy to hack so that they could be used in the context of the hackathon. We would still need volunteers who grant the access to their data. Example library for getting readings from Fortum: https://github.com/kulutusseuranta/fortum_reader

Kinds of electricity data that could be useful:

Frequency and duration of contributed data – Preferably as frequently collected as possible, to enable people to see the effects of particular activities. – Preferably as long duration as possible, to enable people to compare different times of the year. Ideally at least a year’s worth of data would be very useful.

Kind of data source/ area of collection – Households – Houses – Neighbourhoods

SOLAR ENERGY

1. Espoo City solar and geo energy map

Espoo City solar energy map data set http://www.hri.fi/fi/data/espoon-aurinkoenergiakartta/ Espoo City geo energy map data set http://www.hri.fi/fi/data/espoon-geoenergiakartta/

More information about the data sets (in Finnish): http://apps4finland.fi/2012/10/26/datan-avaus-espoon-aurinko-ja-geoenergiakartat/

An application for consumers, based on these data sets: http://energiatieto.wordpress.com/

ENERGY STATISTICS

1. Energy statistics / Finland & Nordic countries

Fingrid / Energy consumption and production http://www.fingrid.fi/fi/sahkomarkkinat/kulutus-ja-tuotanto/Sivut/default.aspx

Electricity Market Price information from Nordpool http://www.nordpoolspot.com

General energy consumption-production and price data http://www.tilastokeskus.fi/til/ene.html


OTHER RELEVANT DATA SETS

1. CO2 EMISSION DATA

Helsinki CO2 emissions in 2030 (data set available as open data): http://datahub.io/dataset/helsinki-siemens/resource/a6700ef3-5254-4a2f-bac1-b05933568287

We need better quality CO2 emission data -Hans Rosling’s interview on OKFN blog: https://blog.okfn.org/2013/01/21/carbon-dioxide-data-is-not-on-the-worlds-dashboard-says-hans-rosling/

OKFN’s School Of Data’s current (April) Data Expedition https://docs.google.com/spreadsheet/ccc?key=0AqwLVP6U7FhDdEZKa1pqa3VhbmkyWkF2Q2IxcnhtWHc#gid=1 Source: http://www.eia.gov/cfapps/ipdbproject/IEDIndex3.cfm

Statistics Finland green house gas emissions http://www.tilastokeskus.fi/til/khki/index.html

CO2-raportti julkaisee koko Suomen kattavaa, kuntatasolle asti ulottuvaa kasvihuonekaasujen viikkotilastoa, joka kertoo kuluttajien  sähkönkulutuksen, rakennusten sekä käyttöveden lämmityksen, tieliikenteen, maatalouden ja jätehuollon päästöt. http://www.co2-raportti.fi/

2. OTHER DATA SETS


OTHER USEFUL INFORMATION ABOUT ENERGY CONSUMPTION

Smart Metering Landscape 2012 Study http://www.smartregions.net/default.asp?SivuID=26927

Äly leviää sähköverkkoon – Uutta liiketoimintaa ja energiatehokkuutta Seminar 10 April 2013 http://www.smartregions.net/default.asp?sivuID=29180

Asiakkaan näkökulma älykkään sähköverkon lisäarvoon http://energia.fi/sites/default/files/2012_02_julkaisu_alyverkko_korjattu.pdf

Energiatehokkuuspalvelujen markkinapotentiaali ja parhaat käytännöt http://www.kuluttajatutkimuskeskus.fi/tutkimus/kestava_elinymparisto/energiatehokkuuspalvelujen_markkinapotentiaali_ja_parhaat_kaytannot