Publication details
Abstracts and keywords
We współczesnym świecie, mimo zwiększonej świadomości zdrowotnej ludzi, zauważalny jest wzrost poziomu stresu. Zmienny tryb życia, presja pracy, konflikty – to tylko niektóre z przyczyn tego zjawiska. W informatyce afektywnej i kognitywnej naukowcy do pomiaru stresu wykorzystują popularne, lecz kosztowne techniki, np.: EEG, EKG, EMG, oraz algorytmy sieci neuronowych. W przeciwieństwie do psychologicznego pomiaru stresu poprzez kwestionariusze lub skale ocen, podejście informatyczne pozwala na rozbudowaną analizę obiektu stresu z możliwością korelacji parametrów biomedycznych. Zauważalny jest ciągły rozwój metod badania stresu z wykorzystaniem sztucznych sieci neuronowych, co zwiększa szansę identyfikacji stresu nawet w trudnych i niejasnych przypadkach. Warto jednak zwrócić uwagę, że większość modeli sieci neuronowych wymaga dużych zasobów pamięci i bywa czasochłonnymi obliczeniowo. Istotne zatem jest tworzenie alternatywnych rozwiązań zapewniających wydajność i efektywność klasyfikacji przy niskim zużyciu czasu i zasobów. Mając na uwadze całość rozważań, w niniejszej dysertacji zaproponowano metodę będącą integracją modalności termowizyjnej i głębokich architektur konwolucyjnych do identyfikacji i klasyfikacji stresu ludzkiego. Przeprowadzone badania pilotażowe potwierdziły możliwości wykorzystania podstawowych sieci CNN i modalności termowizyjnej do klasyfikacji wieloklasowej stresu. Kontynuację stanowiły badania eksperymentalne, podczas których: testowano wybrane lekkie sieci CNN w klasyfikacji wieloklasowej stresu, zaproponowano autorską lekką sieć CNN nazwaną StressTINet, a także zastosowano uczenie zespołowe do klasyfikacji stresu z uwzględnieniem danych psychofizjologicznych. Materiał badawczy pozyskiwano samodzielnie podczas sesji badawczych za pomocą kamer termowizyjnych dedykowanych do smartfonów. Mierzono również sygnały fizjologiczne oraz psychologiczne dla celów kontrolnych i implementacyjnych. Dla kompleksowej walidacji modeli i porównań, wykorzystano również dwa zewnętrzne zbiory danych, oceniane niezależnie od zbioru danych autora. Wyniki badań potwierdzają możliwość implementacji konwolucyjnych architektur głębokiego uczenia oraz modalności termowizyjnej do klasyfikacji stresu ludzkiego. Rozprawa jest ulokowana w dyscyplinie informatyka techniczna i telekomunikacja, aczkolwiek jej interdyscyplinarny obszar badań znajduje odzwierciedlenie również w zagadnieniach związanych z tematyką stresu oraz termowizji. W dysertacji przedstawiono tematyczną literaturę, zaś w końcowej części pracy wskazano przyszłe plany badawcze w kierunku rozwoju autorskiego podejścia badawczego.
In the contemporary world, despite increased health awareness among people, a noticeable rise in stress levels is observed. A variable lifestyle, work pressure, conflicts – these are just some of the causes of this phenomenon. In affective and cognitive computing, researchers use popular but costly techniques for stress measurement, such as: EEG, EKG, EMG, and neural network algorithms. Unlike psychological stress measurement through questionnaires or rating scales, the computational approach allows for an extended analysis of the stress object with the possibility of correlating biomedical parameters. A continuous development of stress research methods using artificial neural networks is noticeable, which increases the chance of identifying stress even in difficult and unclear cases. It is worth noting, however, that most neural network models require large memory resources and can be computationally time-consuming. Therefore, it is important to create alternative solutions that ensure classification efficiency and effectiveness with low time and resource consumption. Taking into account all considerations, this dissertation proposes a method that integrates thermal imaging modality and deep convolutional architectures for the identification and classification of human stress. Pilot studies confirmed the potential of using basic CNN networks and thermal imaging modality for multiclass stress classification. Experimental studies followed, during which: selected lightweight CNN networks were tested for multiclass stress classification, an original lightweight CNN network called StressTINet was proposed, and ensemble learning was applied for stress classification taking into account psychophysiological data. The research material was collected independently during research sessions using thermal cameras dedicated to smartphones. Physiological and psychological signals were also measured for control and implementation purposes. For comprehensive model validation and comparisons, two external datasets were also used, evaluated independently from the author's dataset. The research results confirm the possibility of implementing convolutional deep learning architectures and thermal imaging modality for human stress classification. The dissertation is located in the discipline of computer science and telecommunications, although its interdisciplinary research area is also reflected in issues related to stress and thermal imaging. The dissertation presents thematic literature, and in the final part of the work, future research plans are indicated for the development of the original research approach.
