lauantai 21. syyskuuta 2019

Aiheuttaako tekoäly moraalista rappiota?

Elämme maailmassa, jossa tekoäly (esimerkiksi algoritmit) ovat yhä vahvemmin läsnä ja ohjaavat käyttäytymistämme. Tekoäly helpottaa suuresti arkeamme ja on loistava apu päätöksentekoon. Tässä murroksessa on paljon sellaisia asioita, joita emme ehkä täysin hahmota. Esimerkiksi yksi kiinnostava kysymys on millä tavalla tekoälyn läsnäolo arjessamme ja tekoälyn olemus sinänsä muuttavat meitä ihmisinä. 

Olin eilen Tulevaisuuden tutkimuksen seuran ja Luonnonfilosofian seuran järjestämässä ”Mitä Homo sapiensin jälkeen?” -seminaarissa kuuntelemassa, kun filosofi Aku Visala (2019) kertoi pohdinnoistaan ja tutkimuksista liittyen siihen muuttaako tekoälyn läsnäolo arjessa sitä millaisena ihmiset näkevät itsensä. Kyse ei ole ihan triviaalista asiasta, sillä se miten ihmiset näkevät itsensä, vaikuttaa siihen, miten he näkevät vastuunsa ja mitä he pitävät oikeana ja vääränä. Toisin sanoen se millainen ihmiskäsitys ihmisellä on, vaikuttaa siihen millainen moraali hänellä on.  Katsotaanpa vähän tarkemmin, miten näihin väitteisiin päädytään: 

Tekoäly ei tunne empatiaa


Tutkimusten mukaan ihmisten on yhä vaikeampi erottaa toisistaan ihmistä ja robottia. Robotiikka on kehittynyt kielellisellä puolella paljon. Tietokoneet hoitavat asiakaspalveluchattia jo nyt sillä tavalla, ettemme ole varmoja onko toisessa päässä ihminen vai kone. On myös todettu, että tietokone voi kirjoittaa tarinoita ja säveltää musiikkia, jota emme tunnista koneen tekemäksi (Wellner 2019). Mitä enemmän robotiikka kehittyy siihen suuntaan, että robotit myös näyttävät ihmisiltä, sitä vaikeampi on erottaa robotit ihmisistä jatkossa. Aku Visala kertoo havaintojaan uusimmasta Blade runner- elokuvasta. Siinä eletään lähitulevaisuudessa, missä on täysin ihmisen näköisiä androideja kakkoskansalaisina. Elokuvan ihmiset ovat hyvin tunnekylmiä, heillä ei ole empatiaa androideja kohtaan eikä oikeastaan toisiaankaan kohtaan. Elokuvasta herää ajatus, että julmuus ja epäinhimillinen kohtelu muokkaavat ihmisen moraalisia kykyjä. Kun objektivoimme ei-inhimillisiä olioita (androideja) se edistää myös ihmisen objektivointia.. Vaikkei fiktion avulla voida todistaa muuta kuin miten luovat ihmiset ajattelevat, niin fiktio auttaa meitä ymmärtämään mahdollisia maailmoja ja tottakai myös omaamme. Tutkimuksissa on todettu, että tekoälyn käyttö vaikuttaa ihmisten empatiakyvyn rappeutumiseen jo nykyisessä maailmassa. Esimerkiksi kirjassa ”Re-engineering humanity” keskeinen idea on ajatus siitä, miten älyteknologia nakertaa ihmisen moraalista autonomiaa. 

Tekoäly haastaa ihmisen itseymmärrykseen 


Filosofit käyvät keskustelua siitä voivatko koneet olla älykkäitä tai luovia. Kuten yleensäkin filosofien kanssa, mitään yksimielisyyttä asiasta ei ole. Ennen ajateltiin, että vain ihminen voi olla luova tai älykäs. Nyt kuitenkin olemme pakotettuja muuttamaan ajatteluamme. Jos kone pystyy oppimaan itse, eikä ainoastaan tekemään mitä sitä on käsketty tekemään, sitä on pakko pitää luovana. Luovat koneet kirjoittavat kirjoja. Samoin, jos kone tekee älykkäitä asioita, on sitä varmaan syytä pitää älykkäänä (Laitinen 2019). Älykkyys ja luovuus eivät siis ole enää vain inhimillisiä ominaisuuksia. Varsinkin älykkyyden suhteen, meidän on pakko jo myöntää, että koneet ovat meitä paljon älykkäämpiä ainakin tietyissä asioissa. Tämä mullistus haastaa meidän käsityksemme itsestämme keskiössä ja meidän pitää miettiä uudelleen, miten ymmärrämme itsemme tässä tekoälyn täyteisessä maailmassa. Visala kertoo, että ihmiskeskeisyys ylipäätään on haastettuna. Ovatko ihmiset erityisiä? Onko ihminen sittenkään huipulla kuten ehkä olemme tottuneet ajattelemaan vai olemmeko vain osa maailmaa? Jos emme enää ole keskiössä, onko meillä myöskään enää valtaa? Kun kohtaamme ajatuksen rajallisesta vallasta, se väistämättä johtaa myös pohtimaan minkä verran meillä on vastuusta. Valta ja vastuu kulkevat käsi kädessä. 

Visala sanoo, että jotta ihminen voisi olla moraalinen toimija pitää tiettyjen ehtojen toteutua. Ensinnäkin ihmisellä pitää olla kyky tunnistaa mitkä ovat moraalisia asioita. Toiseksi moraalisen ymmärryksen pitäisi ohjata toimintaa. Kokosin edellä keskustellut asiat yhteenvedoksi allaolevaan kuvioon havainnollistamaan mekanismia, millä tavalla tekoäly voi vaikuttaa rappeuttavasti yhteiskunnan moraaliin. 



Lähteet: 

Visala, Aku (2019): ”Uhkaako tekoäly ihmisen itseymmärrystä?”, Esitelmä Tulevaisuudentutkimuksen seuran ja Luonnonfilosofian seuran ”Mitä homo sapiensin jälkeen”-seminaarissa Tieteiden talolla 20.9.2019.  

Wellner, Galit (2019): ”From thinking to Imagining”, presentation in conference  ”Moral machines? Ethics and politics of the digital world” –Conference in Helsinki, 6-8.3 2019

Frischmann & Evan Selinger: Re-engineering Humanity. 

Laitinen, Arto (2019): ”Can machines think? Disambiguating the double talk” ”, presentation in conference  ”Moral machines? Ethics and politics of the digital world” –Conference in Helsinki, 6-8.3 2019

perjantai 30. elokuuta 2019

Epätasa-arvoinen terveys: Ovatko tulevaisuuden rikkaat ovat terveitä ja köyhät kipeitä?


Jo nyt elämme yhteiskunnassa, missä rikkailla (tai sellaisilla, joilla on hyvät vakuutukset) on mahdollisuus ostaa yksityiseltä sektorilta parempia tai ainakin nopeammin saatavia terveyspalveluita. Näyttää kuitenkin siltä, että hyväosaisten ja huonompiosaisten sairastavuus eroaa tulevaisuudessa entistä enemmän. Näyttää nimittäin siltä, että olemme menossa kohti maailmaa, jossa rikkailla on aikaa ja rahaa huolehtia itsestään ja terveydestään. Sen sijaan vähempiosaiset syövät epäterveellisesti, käyttävät aikaansa työmatkoihin, eivätkä ehdi tai jaksa huolehtia terveydestään. Suomessakin Helsingin Sanomien mukaan kansa jakaantuu kiinnostavalla tavalla hyvinvoivaan Etelä- & Länsi-Suomeen ja huonostivoivaa ja sairastavaan Itä- & Pohjois-Suomeen. 

Näin ei tarvitse olla. Itävallassa on EU:n rahoittamassa FRESHER-nimisessä tulevaisuudentutkimuksen projektissa tutkittu, miten kaikkienterveyttä voitaisiin edistää yhteiskunnallisin keinoin ja miten vähentää sairastavuutta yhteiskunnassa. Sairastamisen ennaltaehkäisy säästää myös yhteiskunnan varoja pitkällä aikavälillä. 

Projektissa on laadittu useita vaihtoehtoisia skenaarioita ja laskettu mitä niiden toteuttamisesta seuraa. Katso tarkemmin tästä videosta:


Kansanterveyteen isossa mittakaavassa vaikuttavat kaupungistuminen, väestön ikääntyminen, ilmastonmuutos, kansalaisaktivismi, saasteet ja lääketieteelliset innovaatiot. Hieman pienemmässä mittakaavassa eli yksilötasolla tarkastellen tutkimuksessa havaittiin, että terveyteen vaikuttavat työttömyys, epätasa-arvo, rakennettujen ympäristöjen ankeus, sosiaalisten suhteiden puute, ravinto ja koulutus. Vaikutusmekanismina on edellä mainittujen vaikutus tupakointiin, ruokavalioon, fyysiseen aktiivisuuteen ja alkoholin väärinkäyttöön. Nämä taas aiheuttavat monenlaisia tauteja, ylipainoa ja masennusta. Kun vaikutukset yhteiskunnassa skaalautuvat, vaikuttavat ne tietenkin myös kansanterveyteen suuressa mittakaavassa. Alla oleva kuvio havainnollistaa vaikutusmekanismeja: [1]



Jos mitään ei muuteta, oat tulevaisuuden rikkaat terveitä ja köyhät kipeitä. Tulevaisuudentutkimuksen perusajatus on (ja syy miksi näitä kannattaa tutkia), että tulevaisuuteen voidaan vaikuttaa ja muokata siitä toivottavampia. FRESHER projektissa on listattu keinoja, joiden avulla voidaan edistää kaikkien terveyttä: 

9 keinoa miten yhteiskunnallisella suunnittelulla voidaan edistää ihmisten terveyttä: 


1)   Lisätään mahdollisuuksia harrastaa liikuntaa; rakennetaan pyöräteitä ja liikuntapaikkoja
2)   Suunnitellaan asuinympäristöt vihreiksi ja terveyttä edistäviksi
3)   Rohkaistaan ihmisiä harrastamaan liikuntaa sekä työaikana että vapaa-aikana 
4)   Lisätään terveyslukutaitoa 
5)   Verotetaan epäterveellisiä ruokia (niin kuin tehdään nyt jo: karkkivero, limuvero, tupakkavero, alkoholivero jne).  
6)   Kevennetään verotusta terveellisten ruokien kohdalla 
7)   Vaikutetaan työttömyysasteeseen, mikä vaikuttaa koettuun epätasa-arvoon ja lisää hyvinvointia 
8)   Lisätään turvallisuudentunnetta. Huolestuneet ihmiset syövät epäterveellisemmin ja liikkuvat vähemmän. 
9)   Lisätään yhteiskunnan tasa-arvoisuutta, mikä vaikuttaa koettuun epätasa-arvoon ja lisää hyvinvointia 

Lähteet: 


Giesecke, Susanna & Wepner, Beatrix (2017): ”Drivers, trends and scenarious for the future of health in Europe: Impression from the FRESHER project”,   A presentation in Futures of Complex World – seminar in Turku, Finland, 12-13 June 2017. 

Susanne Giesecke, Beatrix Wepner, Marianne Hörlesberger (AIT); Maria Smirnova (EPHA); Giovanna Giuffrè (2016): ”Health and Well-being Mapping”, FRESHER-project webpage https://www.foresight-fresher.eu/fresher-project-results/public-deliverables




[1]Huom. Kun ihmisiä tarkastellaan isona massana yksilölliset erot häviävät. On päivänselvää, että löytyy rikkaita, jotka syövät epäterveellisesti, eivätkä liiku ja vastaavasti vähempiosaisia, joilla on paljon ystäviä, liikuntaharrastuksia ja jotka syövät terveellisesti. keskimäärin kuitenkin tulotason on havaittu korreloivan negatiivisesti edellä mainittujen riskitekijöiden kanssa. 

perjantai 31. toukokuuta 2019

Päätöksenteon ulkoistaminen algoritmeille rekrytoinnissa – 6 keskeistä haastetta

Nykyään rekrytoinnissa käytetään yhä enemmän tietokoneohjelmia eli algoritmeja päätöksenteon apuna. Algoritmit arvioivat ihmisten koulutodistuksia, persoonallisuutta (kyselyn perusteella) ja terveystietoja. Tämän on ajateltu lisäävän oikeudenmukaisuutta, koska koneet ovat objektiivisia ja kaikille samanlaisia. Käytännössä on kuitenkin huomattu, että algoritmeihin perustuvan rekrytointipäätöksenteon oikeudenmukaisuudessa on lukuisia haasteita (riippuen valituista parametreistä algoritmit voivat suosia tiettyä asuinaluetta, sukupuolta, elämänkatsomusta jne.). Karen Higginbottom (2018)[i] kertoo esimerkiksi Amazonin luopuneen algoritmien käytöstä rekrytoinnissa, koska niiden todettiin toimivan syrjivästi. Myös ranskalaisten yliopistojen käyttämä opiskelijavalinnan algoritmi on herättänyt samasta syystä paljon kritiikkiä (Schwab 2016)[ii]. Mahdollisen epäoikeudenmukaisuusongelman lisäksi algoritmeihin liittyy rekrytoinnissa muitakin ongelmia. 

Olin kuuntelemassa Tiedekulmassa kun filosofi Susanna Lindberg[iii] puhui algoritmeihin liittyvistä ongelmista ”Moral Machines” -seminaarissa 6.3.2019. Lindberg kertoi, että luokittelualgoritmi toimivat ikäänkuin ”magical sorting hats”, joiden perusteella päätetään onko joku sopiva työhön vai ei. Koska algoritmien toiminta perustuu ohjelmointiin ja dataan, näihin liittyvät ongelmat heijastuvat algoritmien toimintaan. Jos ohjelmoinnissa ei ole huomioitu kaikkia olennaisia asioita, ei myöskään algoritmi huomioi niitä (kapea-alaisuuden ongelma). Jos data on vinoutunutta tai virheellistä, ei algoritmikaan toimi oikein. On vaikea rakentaa sofistikoituja algoritmeja, jotka pystyvät joustavasti kompensoimaan joitain puuttuvia ominaisuuksia toisilla ominaisuuksilla (joustamattomuuden ongelma). Kuten Lindberg sanoi: ”Koneet eivät ymmärrä armoa, anteeksiantamista, erityistapauksia tai olosuhteita”. Minulla on tästä omakohtainen, hieman hämmentävä, kokemus. Vastasin erään pelifirman työpaikka-ilmoitukseen, etten hae työpaikkaa (koska tekniset taitoni eivät riitä), mutta voisin tulla konsultoimaan heitä päätöksenteon psykologiasta ja alitajuisista päätöksentekoon vaikuttavista asioista (heillä oli selkeä tarve). Sain vastauksen minuuteissa hakemuksen lähettämisen jälkeen: ”Kiitos mielenkiinnosta työtehtävää kohtaan, valitettavasti valintamme ei tällä kertaa kohdistunut sinuun”. Vaikutti vahvasti siltä, että kukaan ei ollut lukenut ehdotustani. En jaksanut lähettää uudelleen, saavat pärjätä jatkossakin ilman apuani…

Algoritmeihin perustuvassa luokittelussa on myös läpinäkymättömyyden ongelma. Emme tiedä miten koneet tekevät päätöksiä ja mikä niihin vaikuttaa. Lindholm ihmettelee joitan rekrytoinnissa käytettyjä kysymyksiä – onko esimerkiksi tärkeää tietää miten ihmiset käyttävät nettiä viihtymistarkoituksessa, miten he käyttäytyvät somessa tai paljonko ystäviä heillä on? Ihmiset eivät voi valmistautua tai puolustautua, jos he eivät tiedä miten päätöksiä tehdään. Tosin tämä ei ole pelkästään algoritmeihin liittyvä ongelma. Eivät monet perinteisin keinoin rekrytoivat työnantajatkaan tätä tietoa jaa, joskus sentään saa jonkinlaisen vastauksen, jos soittelee perään ja kyselee.

Yllämainitut ongelmat ovat teknisiä ongelmia, mitkä liittyvät siihen miten algoritmit toimivat tai eivät toimi. Susanna Lindberg on pohtinut aihetta syvällisemmin ja hän kertoo, että algoritmien käyttöön liittyy muitakin ongelmia: Koska algoritmien toiminta perustuu digitaaliseen historiaan, se jättää kaiken muun (ei digitaalisen) ulkopuolelle. Tästä seuraa eksistentiaalinen ongelma: jos ihminen ei jätä digitaalisia jälkiä, ei ole jälkiä. Data on kaiken pohja eli ne digitaalisia jälkiä jättävät valinnat mitä ihminen on tehnyt. Jos ei ole tehnyt valintoja, ei ole dataa. Data, johon algoritmi nojaa saattaa olla riittämätön tai epärelevantti. Datan pääominaisuus on se, että se on saatavilla. Algoritmit myös katsovat taaksepäin, eikä eteenpäin ihmisten potentiaalia. Menneisyydestä johdetaan tulevaisuus (taaksepäinsuuntautumisen ongelma). Toki joillakin avainsanoilla tai kyselyillä voidaan kartoittaa myös potentiaalia, mutta tällöinkin algoritmit päättelevät suoraviivaisesti potentiaalin (lineaarisen päättelyn ongelma). Ihmisten potentiaali on aika vaikea arvioida, koska se riippuu niin monesta asiasta.

Kokosin algoritmeihin rekrytoinnissa liittyvät haasteet alla olevaan kuvioon:



Olisi hyvä jos algoritmien käytöstä heräisi kriittistä yhteiskunnallista keskustelua. On tärkeää pohtia myös yhteiskunnan kannalta oikeudenmukaisuuskysymyksiä. Algoritmit ovat oikein loistava apu päätöksenteolle, kunhan niiden puutteet tiedotetaan. Mitä useampi ihminen pohtii asiaa, sitä todennäköisemmin löydetään keinot epäkohtien korjaamiseen. Kyse on mittakaavaltaan paljon merkittävämmästä yhteiskunnallisesta ongelmasta kuin monet vaalikeskusteluissa esiin nousseet teemat.

Ps. Kiitos kuvasta Nenetus at free digital photos.net




[i] Higginbottom, Karen (2018): ”The pros and cons of algorithms in recruitment”, Forbes 18.10.2018,

[ii] Schwab, Pierre-Nicolas (2016): ” French Universities scandalous selection algorithm revealed”, Into the minds-blogi, https://www.intotheminds.com/blog/en/french-universities-scandalous-selection-algorithm-revealed/

[iii] Lindberg, Susanna (2019): ”Just machines”, presentation in conference  ”Moral machines? Ethics and politics of the digital world” –Conference in Helsinki, 6-8.3 2019

torstai 28. maaliskuuta 2019

Mitä Pablo Escobarin kullattu virtahevon pääkallo kertoo ihmisten päätöksenteosta

Päätöksenteko, museot ja Pablo Escobar
Pablo Escobarin omistaman virtahevon kullattu pääkallo esillä Viktor Wynd museum of curiosities-museossa 2018

Kokaiinikaupoilla rikastunut Pablo Escobar rakensi itselleen yksityisen eläintarhan Kolumbiaan vuonna 1980.  Escobar salakuljetti sinne Afrikasta kirahveja, elefantteja, virtahepoja ja muita eksoottisia eläimiä.  Oma eläintarha on ylellisyyttä, johon ei kovinkaan monella ole varaa. On luultavaa, että se oli Escobarille ilahduttavan paikan lisäksi myös menestyksen ja vallan symboli. Virtahepoja Escobar hankki neljä kappaletta, joista vain kolme selvisi matkastaan Kolumbiaan hengissä. Escobarin eläintarhan eläintenhoitaja kertoo, että eläinrakas Escobar oli virtahevon kuolemasta hyvin surullinen. Escobar päätti kunnioittaa kuollutta virtahepoa ja halusi säilyttää sen pääkallon muistona. Hän pohti erilaisia keinoja miten  sen saisi säilymään hyväkuntoisena pitkään ja päätyi pääkallon kultaamiseen 24 karaatin kullalla. Kullattu pääkallo sijoitettiin Escobarin toimistoon. Pääkallo saattoi siis toimia Escobarille symbolina eläinrakkaudesta tai se saattoi symboloida tulevaisuuden tavoitteita (oppia virheistä ja kohdella eläimiä paremmin jatkossa). Kolme hengissä selvinnyttä  virtahepoa ilahduttivat Escobaria hänen eläintarhassaan. Eläintenhoitajan mukaan Escobar tykkäsi katsella niitä tuntikausia. Escobarin kuoltua virtahevot karkasivat Kolumbian luontoon ja nyt Kolumbiassa on noin 70 virtahevon lauma.  Tämä on ainoa villinä elävä lauman Afrikan ulkopuolella. Virtahevot lisääntyvät luonnossa ja aiheuttavat ongelmia Kolumbiassa.

Vuonna 1993 Escobar ammuttiin ja hänen omaisuutensa takavarikoitiin. Escobarin omaisuus  huutokaupattiin parikymmentä vuotta myöhemmin, jolloin kullattu pääkallo siirtyi John Hanburylle. John Hanbury on kuvaillut kokoelmaansa seuraavasti: ”Ainoa pääperiaate kokoelman keräämiselle on ollut seurata uteliaisuuttani ja katsoa mihin se johtaa.  Olen ostanut esineitä mitkä inspiroivat ihmettelyä. Näen itseni ennemminkin tarinoiden kerääjänä kuin tavaroiden kerääjänä. Kokoelmani esineet ovat ikään kuin varjoja muistoista tai tarinoista, joista ne kertovat.”. Hanbury siis päätti ostaa pääkallon omaan kokoelmaansa saadakseen tarinan ja inspiroidakseen ihmettelyä. Markkinoijat ovat hyvin tietoisia siitä, että ihmiset ostavat ennemmin tarinoita kuin esineitä. Esineet, jotka inspiroivat ja ilahduttavat ovat tärkeitä. Kävin itsekin inspiroitumassa Lontoossa The Viktor Wynd Museum of Curiosities –museossa.  Siellä oli yksi silmiinpistävimmistä esineistä juuri tuo Pablo Escobarin kullattu virtahevon pääkallo. Pääkallo oli museossa lainassa John Hanburyn kokoelmasta. Kysyin museon omistajalta Viktor Wyndiltä sähköpostitse miten pääkallo päätyi museon kokoelmiin. Hän kertoi, että he ovat ystäviä John Hanburyn kanssa ja pääkallon päätyneen museon kokoelmiin siitä syystä. Pääkallo on siis museon kokoelmissa osin sattumalta. Museon opaskirjassa kerrotaan, että museo esittelee epäyhtenäisen kuvan maailmasta tarjoten ihmettelyn aiheita. Museossa ei ole pyritty minkäänlaiseen tavaroiden luokitteluun tai järjestämiseen, koska heidän näkemyksensä mukaan maailma ”kylpee ihmeellisyyksissä” eikä luokittelu ole edes mahdollista. Museo ei pyri jakamaan tietoa tai kouluttamaan ihmisiä, vaan ainoastaan herättämään ihmettelyä. Museon esittelee tavaroita, jotka ovat ”välkkyneet” ja kiinnittäneet museon omistajan huomion. Tässä valossa on siis pelkästään loogista, että Escobarin virtahevon kullattu pääkallo on juuri tässä museossa esillä, sillä mihin kategoriaan sen oikeastaan luokittelisi? Viktor Wynd ja John Hanbury ostavat ja kertovat tarinoita.

Sam Gosling (2008) on pohtinut ihmisten omistamia tavaroita mainiossa kirjassaan Snoop- What your stuff says about you. Hän on päätynyt siihen, että osa tavaroistamme on sellaisia joiden avulla rakennamme ja julistamme identiteettiämme (identity claims), osa on sellaisia joiden avulla säätelemme tunteitamme (feeling regulators) ja osa on päätynyt meille lähinnä sattumalta ja on merkkejä tavastamme elää (behavioral residue). Tähän samaan liittyy myös Russell Belkin (2006) ajatus siitä, miten omistamamme tavarat ovat ikäänkuin persoonamme jatkeita tai laajennuksia (extended self). Tavarat ikäänkuin arkistoivat elämäämme ja muistuttavat meitä minuutemme historiasta, eri puolista ja tavoitteista. Toisin sanoen ne ovat osa tarinaamme. On helppo kuvitella, että eläintarhan hankkiminen ja pääkallon kultaaminen liittyivät Escobarin ajattelussa identiteetin rakentamiseen ja julistamiseen. Pääkallon säilyttäminen toimistossa viittaa sen käyttämiseen tunteiden säätelyyn (muistot tai tulevaisuuden tavoitteet). Keräilijät ostavat tarinoita ja museot kertovat niitä, mikä selittää sen miten pääkallo päätyi Afrikasta Kolumbian kautta Lontooseen museon kokoelmiin.

Sisäänkäynti Viktor Wynd museum of curiosities museoon Lontoossa 2018
Lähteet:
  • The Connor Brothers (2018): ” Pablo Escobar's gold plated Hippopotamus Skull”, Youtube, Julkaistu 20.6.2018 https://www.youtube.com/watch?v=FaVgCGDr72g
  • The Viktor Wynd museum of curiosities guidebook 2018
  • Gosling, Sam (2008): ” Snoop – What your stuff says about you?”
  • Belk, Russell W. (2006): “Possessions and Extended Self”, Journal of Consumer Research 15(1988): 139-168