Projekt polegał na stworzeniu urządzenia, które potrafiłoby analizować zapis z sensora podczerwieni w taki sposób, by następnie rozpoznawać obecność osób w pomieszczeniu. Kilka kamer rozmieszczonych w przestrzeni, wykonuje zdjęcia termiczne, by na ich podstawie określić ilość osób w pomieszczeniu oraz to, co robią. Ich aktywność jest definiowana poprzez kilka podstawowych stanów (np. stoi, siedzi, jest w ruchu).
Doświadczenie członków zespołu
Po fazie uczenia się algorytm będzie w stanie rozpoznać konkretne stany:
Algorytm rozpozna, czy osoba
Algorytm rozpozna, czy osoba
Projekt postawił przed nami kilka wyzwań. Jednym z nich było dobranie komponentów sprzętowych, a następnie opracowanie oprogramowania, które będzie je kontrolować. Ostatnim zadaniem było stworzenie modelu sztucznej inteligencji, analizującego poszczególne zdjęcia termiczne. Na tym etapie bardzo istotna była dbałość o bezpieczeństwo danych oraz o wydajność ich procesowania.
Prototyp powstał z użyciem sensora Lepton FLIR, który współdziałając z Raspberry PI, posłużył nam jako platforma do testowania i zbierania danych. Poszczególne zdjęcia zebrane w ten sposób zostały manualnie przetworzone przy użyciu specjalnie napisanego oprogramowania oraz przeanalizowane komputerowo.
Każde z 52.000 zdjęć zostało opisane - oznaczona została liczba osób oraz ich stan (siedzi, stoi, jest w ruchu). Tak stworzony set danych zasilił proces nauczania sztucznej inteligencji. Dzięki temu teraz algorytm podczas analizy jest w stanie zidentyfikować liczbę osób widocznych nawet na nowych, niewidzianych wcześniej zdjęciach.
W rezultacie powstało narzędzie, które na podstawie obrazu z kamery termicznej analizuje ruch osób w pomieszczeniu oraz potrafi wskazać, które części pomieszczenia są używane najczęściej, a do których ludzie zaglądają rzadziej. To wszystko odbywa się przy minimalnej ingerencji w prywatność użytkowników.
