Matijaš, Marin
Electric load forecasting using multivariate meta-learning : doctoral thesis / Marin Matijaš ; [mentor Slavko Krajcar] - Zagreb : M. Matijaš ; Fakultet elektrotehnike i računarstva, 2013. - xix, 143 str.: ilustr.; 30 cm
Na spor. nasl. str. naslov na hrv. jeziku: Predviđanje potrošnje električne energije multivarijatnim metaučenjem : doktorski rad. - Tekst nad naslovom: University of Zagreb, Faculty of Electrical Engineering and Computing
Bibliografija: listovi 132-143. - Sažetak na eng. i hrv. jeziku. - Životopis [uključuje i popis objavljenih radova autora]. - Popis korištenih skraćenica
ABSTRACT: Nowadays, the modern economies depend on electricity. Its production and consumption (load) have to be in equilibrium at all times since storing electricity, in a substantial quantity, results in high costs. Load forecasting is a task of predicting future electricity consumption or power load. The main goal, of load forecasting, is to reduce the load forecasting error. A reduction of the load forecasting error leads to lower costs and higher welfare. Besides keeping the power systems in balance and for power system control, load forecasting is important for power system planning; power market operation; power market design; and security of supply. Traditionally, load forecasting is solved, at a level of a particular task, with periodic aims of creating a more general framework for doing so. A general framework, for load forecasting, would be beneficial to most market participants in dealing with their heterogeneous load forecasting tasks. The deregulation of power systems created new markets and the advent of the Internet and new technology provided the opportunity for new functionalities and services which had more added values to the end customers. Mainly at the retail level, where profit margins are not high and, a small participant faces, in everyday operations, the problem of modelling taking into account a lot of uncertainty and different types of forecasting tasks. The general framework, for load forecasting, would be beneficial in modelling heterogeneous load forecasting tasks within a single forecasting system and would help the non-experts, in algorithm design, to choose the most suitable algorithm for their load forecasting task. In this doctoral thesis, I propose the use of meta-learning as an approach to electric load forecasting; this includes the framework for electric load forecasting model selection. I choose meta-learning because it is rooted in the idea of learning to solve better the problems of different characteristics. It is well-suited for load forecasting because it learns and evolves over time, just as the power systems live and evolve over time. So far, it has not been applied to either power systems engineering, or has it been applied to multivariate time-series forecasting. The proposed approach is based on the new method of using meta-learning for forecasting multivariate time-series. It is modular and it learns on two levels: on the meta-level; and the load forecasting task level. The proposed solution uses an ensemble of seven algorithms for classification at the meta-level and, seven other algorithms for forecasting at the load forecasting task level. On 3 load forecasting tasks, made from publicly available data, I show that, for a recurrent real-life simulation of one year of forecasting, a meta-learning system, built on 65 load forecasting tasks, returned a lowest load forecasting error when compared to 10 well-known algorithms. On the fourth task in load forecasting, similar results were obtained. However, these were for a shorter period of forecasting and by using an ex-ante approach. I propose, also, the approach for definition and selection of the meta-features for the time-series; this resulted in new meta-features applicable to the meta-learning of load forecasting. The approach resulted in the introduction of new meta-features of traversity; fickleness; granularity; and highest ACF. The proposed meta-learning framework is intended to be used in practice; therefore, it is parallelized; component-based; and easily extendable. - KEYWORDS: Artificial Neural Networks; Demand Forecasting; Electric Load: Electricity Consumption; Retail Electricity; Estimation; Gaussian Processes; General Load Forecaster; Least Squares Support Vector Machines; Meta-Learning; Meta-features; Power; Prediction; Short-Term Load Forecasting; STLF; Support Vector Regression; SVM; Time-Series SAŽETAK: Moderna gospodarstva danas ovise o električnoj energiji. Njena proizvodnja i potrošnja moraju u svakom trenutku biti u ravnoteži jer je trošak za pohranu značajne količine električne energije velik. Kako bi se troškovi smanjili, koristi se predviđanje potrošnje električne energije. Stogodišnji problem, rješava se na brojne načine čitavo vrijeme. Osnovni zadatak predviđanja potrošnje je smanjiti pogrešku predviđanja. Smanjenje pogreške predviđanja dovodi do nižih troškova i višeg probitka. Osim za održavanje elektroenergetskih sustava u ravnoteži i upravljanje elektroenergetskim sustavima, predviđanje potrošnje je važno za: planiranje elektroenergetskih sustava, aktivnosti na tržištu električne energije, dizajn tržišta električne energije i sigurnost opskrbe. Kako bi se moglo dobiti brzu ocjenu procjene financijskog troška opskrbljivača, jer je trošak uzrokovan pogreškom predviđanja važan opskrbljivačima, predlažem metodu zasnovanu na uprosječavanju. Predloženu metodu primjenjujem na dva primjera simulacije troška predviđanja za čitavo tržište Finske odnosno Francuske, s relativnom pogreškom simulacije u odnosu na izračunati trošak uravnoteženja od -8,3 odnosno -3,1 posto. Tradicionalno se predviđanje potrošnje rješava na razini pojedinog zadatka s povremenim stremljenjem da se izradi općenitiji okvir. Općeniti okvir za predviđanje potrošnje bio bi koristan većini tržišnih sudionika za njihove heterogene zadatke predviđanja potrošnje. Bio bi posebno važan opskrbljivačima. Deregulacija elektroenergetskih sustava stvorila je nova tržišta, dok je pojava Interneta i novih tehnologija omogućila priliku za pružanje funkcionalnosti i usluga s više dodane vrijednosti krajnjim kupcima. Uglavnom u opskrbi, gdje profitne marže nisu visoke, mali sudionik suočava se u svakodnevnom poslovanju s problemom modeliranja mnogo nesigurnosti u različitim tipovima zadataka predviđanja potrošnje. Općeniti okvir za predviđanje potrošnje koristio bi modeliranju heterogenih zadataka predviđanja potrošnje u jednom sustavu za predviđanje i pomogao onima koji nisu eksperti u dizajnu algoritama, pri izboru najprikladnijeg algoritma za njihov zadatak predviđanja. U ovom doktorskom radu predlažem pristup za predviđanje potrošnje korištenjem meta-učenja koji uključuje okvir za izbor modela predviđanja potrošnje električne energije. Odabrao sam meta-učenje jer je ukorijenjeno u ideji učenja kako bi se bolje riješili problemi različitih karakteristika. Prikladno je za predviđanje potrošnje jer uči i evoluira s vremenom kao što elektroenergetski sustavi žive i evoluiraju s vremenom. Do sada nije primijenjeno u elektroenergetici, niti je primijenjeno za predviđanje multivarijatnih vremenskih serija. Predloženi pristup zasniva se na novoj metodi za predviđanje multivarijatnih vremenskih serija korištenjem meta-učenja. Modularan je i uči na dvije razine, na meta razini i na razini zadatka predviđanja. Predloženo rješenje na meta razini koristi jednako uravnoteženu kombinaciju sljedećih sedam metoda za klasifikaciju: euklidsku udaljenost, CART stabla odlučivanja, LVQ mrežu, višerazinski perceptron, AutoMLP, metodu potpornih vektora i Gaussove procese. Na razini zadatka, predloženo rješenje koristi drugih sedam algoritama za predviđanje, i to: nasumičnu šetnju, ARMA-u, slične dane, višerazinski perceptron, po razinama ponavljajuću neuronsku mrežu, ν regresiju potpornim vektorima i robusnu regresiju potpornim vektorima zasnovanu na metodi najmanjih kvadrata. Na 3 zadatka napravljena od javno dostupnih podataka pokazujem kako, za ponavljajuću simulaciju jedne godine predviđanja iz stvarnog svijeta, sustav za meta-učenje napravljen na 65 zadataka predviđanja potrošnje, vraća manju pogrešku predviđanja nego 10 poznatih algoritama. Na četvrtom zadatku predviđanja potrošnje dobiveni su slični rezultati, no za kraći period predviđanja i korištenjem ex-ante pristupa. Vrijeme izvođenja predloženog sustava je 29% vremena potrebnog za izvođenje svih kombinacija što opravdava uvođenje meta-učenja. Također predlažem pristup za definiranje i izbor metaosobina vremenskih serija korištenjem ReliefF algoritma za klasifikaciju, koji kao rezultat daje nove metaosobine primjenjive na meta-učenje predviđanja potrošnje. Pristup rezultira uvođenjem: prelaznosti, nemirnosti, granularnosti i najvećeg ACF-a. Postupak za odabir metaosobina korištenjem ReliefF algoritma za klasifikaciju potvrdio je važnost predloženih metaosobina dodjeljujući im visoke težine, dok je CART stablo odlučivanja potvrdilo tako dobiveni rezultat. Predloženi okvir za meta-učenje namijenjen je kako bi se koristio u praksi zbog čega je paraleliziran, zasnovan na komponentama i lako proširiv. - KLJUČNE RIJEČI: električna energija, estimacija, Gaussovi procesi, kratkoročno predviđanje potrošnje električne energije, meta-učenje, metaosobine, metoda potpornih vektora, metoda potpornih vektora najmanjim kvadratima, neuronske mreže, opskrba, potrošnja, procjena, regresija potpornim vektorima, snaga, vremenske serije
621.317.38 681.518.25.015.42:004.85.021
Electric load forecasting using multivariate meta-learning : doctoral thesis / Marin Matijaš ; [mentor Slavko Krajcar] - Zagreb : M. Matijaš ; Fakultet elektrotehnike i računarstva, 2013. - xix, 143 str.: ilustr.; 30 cm
Na spor. nasl. str. naslov na hrv. jeziku: Predviđanje potrošnje električne energije multivarijatnim metaučenjem : doktorski rad. - Tekst nad naslovom: University of Zagreb, Faculty of Electrical Engineering and Computing
Bibliografija: listovi 132-143. - Sažetak na eng. i hrv. jeziku. - Životopis [uključuje i popis objavljenih radova autora]. - Popis korištenih skraćenica
ABSTRACT: Nowadays, the modern economies depend on electricity. Its production and consumption (load) have to be in equilibrium at all times since storing electricity, in a substantial quantity, results in high costs. Load forecasting is a task of predicting future electricity consumption or power load. The main goal, of load forecasting, is to reduce the load forecasting error. A reduction of the load forecasting error leads to lower costs and higher welfare. Besides keeping the power systems in balance and for power system control, load forecasting is important for power system planning; power market operation; power market design; and security of supply. Traditionally, load forecasting is solved, at a level of a particular task, with periodic aims of creating a more general framework for doing so. A general framework, for load forecasting, would be beneficial to most market participants in dealing with their heterogeneous load forecasting tasks. The deregulation of power systems created new markets and the advent of the Internet and new technology provided the opportunity for new functionalities and services which had more added values to the end customers. Mainly at the retail level, where profit margins are not high and, a small participant faces, in everyday operations, the problem of modelling taking into account a lot of uncertainty and different types of forecasting tasks. The general framework, for load forecasting, would be beneficial in modelling heterogeneous load forecasting tasks within a single forecasting system and would help the non-experts, in algorithm design, to choose the most suitable algorithm for their load forecasting task. In this doctoral thesis, I propose the use of meta-learning as an approach to electric load forecasting; this includes the framework for electric load forecasting model selection. I choose meta-learning because it is rooted in the idea of learning to solve better the problems of different characteristics. It is well-suited for load forecasting because it learns and evolves over time, just as the power systems live and evolve over time. So far, it has not been applied to either power systems engineering, or has it been applied to multivariate time-series forecasting. The proposed approach is based on the new method of using meta-learning for forecasting multivariate time-series. It is modular and it learns on two levels: on the meta-level; and the load forecasting task level. The proposed solution uses an ensemble of seven algorithms for classification at the meta-level and, seven other algorithms for forecasting at the load forecasting task level. On 3 load forecasting tasks, made from publicly available data, I show that, for a recurrent real-life simulation of one year of forecasting, a meta-learning system, built on 65 load forecasting tasks, returned a lowest load forecasting error when compared to 10 well-known algorithms. On the fourth task in load forecasting, similar results were obtained. However, these were for a shorter period of forecasting and by using an ex-ante approach. I propose, also, the approach for definition and selection of the meta-features for the time-series; this resulted in new meta-features applicable to the meta-learning of load forecasting. The approach resulted in the introduction of new meta-features of traversity; fickleness; granularity; and highest ACF. The proposed meta-learning framework is intended to be used in practice; therefore, it is parallelized; component-based; and easily extendable. - KEYWORDS: Artificial Neural Networks; Demand Forecasting; Electric Load: Electricity Consumption; Retail Electricity; Estimation; Gaussian Processes; General Load Forecaster; Least Squares Support Vector Machines; Meta-Learning; Meta-features; Power; Prediction; Short-Term Load Forecasting; STLF; Support Vector Regression; SVM; Time-Series SAŽETAK: Moderna gospodarstva danas ovise o električnoj energiji. Njena proizvodnja i potrošnja moraju u svakom trenutku biti u ravnoteži jer je trošak za pohranu značajne količine električne energije velik. Kako bi se troškovi smanjili, koristi se predviđanje potrošnje električne energije. Stogodišnji problem, rješava se na brojne načine čitavo vrijeme. Osnovni zadatak predviđanja potrošnje je smanjiti pogrešku predviđanja. Smanjenje pogreške predviđanja dovodi do nižih troškova i višeg probitka. Osim za održavanje elektroenergetskih sustava u ravnoteži i upravljanje elektroenergetskim sustavima, predviđanje potrošnje je važno za: planiranje elektroenergetskih sustava, aktivnosti na tržištu električne energije, dizajn tržišta električne energije i sigurnost opskrbe. Kako bi se moglo dobiti brzu ocjenu procjene financijskog troška opskrbljivača, jer je trošak uzrokovan pogreškom predviđanja važan opskrbljivačima, predlažem metodu zasnovanu na uprosječavanju. Predloženu metodu primjenjujem na dva primjera simulacije troška predviđanja za čitavo tržište Finske odnosno Francuske, s relativnom pogreškom simulacije u odnosu na izračunati trošak uravnoteženja od -8,3 odnosno -3,1 posto. Tradicionalno se predviđanje potrošnje rješava na razini pojedinog zadatka s povremenim stremljenjem da se izradi općenitiji okvir. Općeniti okvir za predviđanje potrošnje bio bi koristan većini tržišnih sudionika za njihove heterogene zadatke predviđanja potrošnje. Bio bi posebno važan opskrbljivačima. Deregulacija elektroenergetskih sustava stvorila je nova tržišta, dok je pojava Interneta i novih tehnologija omogućila priliku za pružanje funkcionalnosti i usluga s više dodane vrijednosti krajnjim kupcima. Uglavnom u opskrbi, gdje profitne marže nisu visoke, mali sudionik suočava se u svakodnevnom poslovanju s problemom modeliranja mnogo nesigurnosti u različitim tipovima zadataka predviđanja potrošnje. Općeniti okvir za predviđanje potrošnje koristio bi modeliranju heterogenih zadataka predviđanja potrošnje u jednom sustavu za predviđanje i pomogao onima koji nisu eksperti u dizajnu algoritama, pri izboru najprikladnijeg algoritma za njihov zadatak predviđanja. U ovom doktorskom radu predlažem pristup za predviđanje potrošnje korištenjem meta-učenja koji uključuje okvir za izbor modela predviđanja potrošnje električne energije. Odabrao sam meta-učenje jer je ukorijenjeno u ideji učenja kako bi se bolje riješili problemi različitih karakteristika. Prikladno je za predviđanje potrošnje jer uči i evoluira s vremenom kao što elektroenergetski sustavi žive i evoluiraju s vremenom. Do sada nije primijenjeno u elektroenergetici, niti je primijenjeno za predviđanje multivarijatnih vremenskih serija. Predloženi pristup zasniva se na novoj metodi za predviđanje multivarijatnih vremenskih serija korištenjem meta-učenja. Modularan je i uči na dvije razine, na meta razini i na razini zadatka predviđanja. Predloženo rješenje na meta razini koristi jednako uravnoteženu kombinaciju sljedećih sedam metoda za klasifikaciju: euklidsku udaljenost, CART stabla odlučivanja, LVQ mrežu, višerazinski perceptron, AutoMLP, metodu potpornih vektora i Gaussove procese. Na razini zadatka, predloženo rješenje koristi drugih sedam algoritama za predviđanje, i to: nasumičnu šetnju, ARMA-u, slične dane, višerazinski perceptron, po razinama ponavljajuću neuronsku mrežu, ν regresiju potpornim vektorima i robusnu regresiju potpornim vektorima zasnovanu na metodi najmanjih kvadrata. Na 3 zadatka napravljena od javno dostupnih podataka pokazujem kako, za ponavljajuću simulaciju jedne godine predviđanja iz stvarnog svijeta, sustav za meta-učenje napravljen na 65 zadataka predviđanja potrošnje, vraća manju pogrešku predviđanja nego 10 poznatih algoritama. Na četvrtom zadatku predviđanja potrošnje dobiveni su slični rezultati, no za kraći period predviđanja i korištenjem ex-ante pristupa. Vrijeme izvođenja predloženog sustava je 29% vremena potrebnog za izvođenje svih kombinacija što opravdava uvođenje meta-učenja. Također predlažem pristup za definiranje i izbor metaosobina vremenskih serija korištenjem ReliefF algoritma za klasifikaciju, koji kao rezultat daje nove metaosobine primjenjive na meta-učenje predviđanja potrošnje. Pristup rezultira uvođenjem: prelaznosti, nemirnosti, granularnosti i najvećeg ACF-a. Postupak za odabir metaosobina korištenjem ReliefF algoritma za klasifikaciju potvrdio je važnost predloženih metaosobina dodjeljujući im visoke težine, dok je CART stablo odlučivanja potvrdilo tako dobiveni rezultat. Predloženi okvir za meta-učenje namijenjen je kako bi se koristio u praksi zbog čega je paraleliziran, zasnovan na komponentama i lako proširiv. - KLJUČNE RIJEČI: električna energija, estimacija, Gaussovi procesi, kratkoročno predviđanje potrošnje električne energije, meta-učenje, metaosobine, metoda potpornih vektora, metoda potpornih vektora najmanjim kvadratima, neuronske mreže, opskrba, potrošnja, procjena, regresija potpornim vektorima, snaga, vremenske serije
621.317.38 681.518.25.015.42:004.85.021