ΔΑΝΙΑ: ΤΟ ΣΥΣΤΗΜΑ ΚΟΙΝΩΝΙΚΗΣ ΠΡΟΝΟΙΑΣ ΠΟΥ ΛΕΙΤΟΥΡΓΕΙ ΜΕ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΤΡΟΦΟΔΟΤΕΙ ΤΙΣ ΜΑΖΙΚΕΣ ΠΑΡΑΚΟΛΟΥΘΗΣΕΙΣ ΚΑΙ ΚΙΝΔΥΝΕΥΕΙ ΝΑ ΔΗΜΙΟΥΡΓΗΣΕΙ ΔΙΑΚΡΙΣΕΙΣ ΣΕ ΒΑΡΟΣ ΠΕΡΙΘΩΡΙΟΠΟΙΗΜΕΝΩΝ ΟΜΑΔΩΝ - ΕΚΘΕΣΗ

Η αρχή πρόνοιας της Δανίας, Udbetaling Danmark (UDK), κινδυνεύει να κάνει διακρίσεις σε βάρος ατόμων με αναπηρία, ατόμων με χαμηλό εισόδημα, μεταναστριών, μεταναστών, προσφυγισσών, προσφύγων και περιθωριοποιημένων φυλετικά ομάδων μέσω της χρήσης εργαλείων τεχνητής νοημοσύνης (AI) για να επισημάνει άτομα για έρευνες απάτης σε κοινωνικά επιδόματα, ανέφερε σήμερα η Διεθνής Αμνηστία σε νέα της έκθεση.

Η έκθεση, με τίτλο Coded Injustice: Surveillance and Discrimination in Denmark's Automated Welfare State (Κωδικοποιημένη Αδικία: Παρακολουθήσεις και Διακρίσεις στο Αυτοματοποιημένο Κράτος Πρόνοιας της Δανίας), περιγράφει λεπτομερώς πώς η σαρωτική χρήση αλγορίθμων ανίχνευσης απάτης, σε συνδυασμό με πρακτικές μαζικής παρακολούθησης, έχει οδηγήσει τους ανθρώπους να χάσουν άθελά τους -ή ακόμη και εν αγνοία τους- το δικαίωμά τους στην ιδιωτική ζωή και έχει δημιουργήσει μια ατμόσφαιρα φόβου.

«Αυτές οι μαζικές παρακολουθήσεις έχουν δημιουργήσει ένα σύστημα κοινωνικών παροχών που κινδυνεύει να στοχοποιήσει, αντί να υποστηρίξει τους ίδιους τους ανθρώπους που προοριζόταν να προστατεύσει», δήλωσε η Hellen Mukiri-Smith, Ερευνήτρια της Διεθνούς Αμνηστίας για την Τεχνητή Νοημοσύνη και τα Ανθρώπινα Δικαιώματα.

«Ο τρόπος με τον οποίο λειτουργεί το αυτοματοποιημένο σύστημα πρόνοιας της Δανίας διαβρώνει την ιδιωτική ζωή των ατόμων και υπονομεύει την ανθρώπινη αξιοπρέπεια. Με την ανάπτυξη αλγορίθμων ελέγχου απάτης και παραδοσιακών μεθόδων παρακολούθησης για τον εντοπισμό απάτης στα κοινωνικά επιδόματα, οι αρχές επιτρέπουν και επεκτείνουν την ψηφιοποιημένες μαζικές παρακολουθήσεις».

Η UDK έχει αναθέσει στην εταιρεία Arbejdsmarkedets Tillægspension (ATP), τη διαχείριση των κοινωνικών παροχών και των προσπαθειών ελέγχου για απάτες. Με τη σειρά της, η ATP συνεργάστηκε με ιδιωτικές πολυεθνικές εταιρείες, συμπεριλαμβανομένης της NNIT, για την ανάπτυξη αλγορίθμων που θα ελέγχουν τις απάτες προσαρμοσμένων στις προδιαγραφές της ATP.

Έχοντας το πιστόλι στον κρόταφο

Η UDK και η ATP χρησιμοποιούν ένα σύστημα έως και 60 αλγοριθμικών μοντέλων που φέρονται να έχουν σχεδιαστεί για να εντοπίζουν απάτες με κοινωνικές παροχές και να επισημαίνουν τα άτομα για περαιτέρω έρευνα από τις αρχές της Δανίας. Κατά τη διάρκεια της έρευνάς της, η Διεθνής Αμνηστία απέκτησε μερική πρόσβαση σε τέσσερις από αυτούς τους αλγορίθμους.

Για την τροφοδότηση αυτών των αλγορίθμων εντοπισμού απάτης, οι δανικές αρχές έχουν θεσπίσει νόμους που επιτρέπουν την εκτεταμένη συλλογή και συγχώνευση προσωπικών δεδομένων από δημόσιες βάσεις δεδομένων εκατομμυρίων κατοίκων της Δανίας.

Τα δεδομένα περιλαμβάνουν πληροφορίες σχετικά με το καθεστώς διαμονής και τις μετακινήσεις, την ιθαγένεια, τον τόπο γέννησης και τις οικογενειακές σχέσεις - ευαίσθητα δεδομένα που μπορούν επίσης να χρησιμεύσουν ως υποκατάστατες μεταβλητές για τη φυλή, την εθνικότητα ή τον σεξουαλικό προσανατολισμό ενός ατόμου.

«Αυτή η εκτεταμένη μηχανή παρακολούθησης χρησιμοποιείται για την καταγραφή και τη δημιουργία μιας πανοραμικής εικόνας της ζωής ενός ατόμου, η οποία συχνά είναι αποσυνδεδεμένη από την πραγματικότητα. Παρακολουθεί και καταγράφει πού ζει και εργάζεται ένα άτομο που έχει κάνει αίτηση για κοινωνικό επίδομα, το ιστορικό των ταξιδιών του, τα αρχεία υγείας του, ακόμη και τους δεσμούς του με ξένες χώρες», δήλωσε η Hellen Mukiri-Smith.

Η UDK υποστηρίζει ότι η εκτεταμένη συλλογή και συγχώνευση προσωπικών δεδομένων για την ανίχνευση απάτης με τα κοινωνικά επιδόματα είναι «νομικά θεμελιωμένη». Ωστόσο, τα ευρήματα της Διεθνούς Αμνηστίας δείχνουν ότι ο τεράστιος όγκος δεδομένων που συλλέγεται και επεξεργάζεται δεν είναι ούτε αναγκαίος ούτε αναλογικός.

Τα άτομα που ερωτήθηκαν από τη Διεθνή Αμνηστία περιέγραψαν την επιβλαβή ψυχολογική επιβάρυνση από την παρακολούθηση που υφίστανται από τις/τους ερευνήτριες/ές που εξετάζουν τις απάτες και τις/τους εργαζόμενες/ους σε υποθέσεις. Η Πρόεδρος της Επιτροπής Κοινωνικής Πολιτικής και Πολιτικής Αγοράς Εργασίας του Ιδρύματος Dansk Handicap, Gitte Nielsen, δήλωσε ότι τα άτομα με αναπηρία που ανακρίνονται διαρκώς από υπαλλήλους των υποθέσεων συχνά αισθάνονται κατάθλιψη και αναφέρουν ότι ο συνεχής έλεγχος τους «τρώει».

Περιγράφοντας τον τρόμο της έρευνας για τις απάτες με τα επιδόματα, ένας ερωτώμενος δήλωσε στη Διεθνή Αμνηστία: «[Είναι σαν] να σου έχουν βάλει το πιστόλι στον κρόταφο. Είμαστε διαρκώς φοβισμένοι. [Είναι σαν] να μας σημαδεύει [πάντα] ένα όπλο».

Αθέμιτοι, μεροληπτικοί αλγόριθμοι

Οι διακρίσεις που διαιωνίζονται από τους αλγορίθμους της UDK και της ATP συμβαίνουν σε ένα περιβάλλον προϋπαρχουσών ανισοτήτων - νόμων, κανόνων, θεσμών, κανόνων και αξιών - εντός της κοινωνίας της Δανίας. Αυτές οι δομές διακρίσεων ενσωματώνονται στο σχεδιασμό των αλγοριθμικών μοντέλων της ATP, διευκολύνοντας την κατηγοριοποίηση ατόμων και κοινοτήτων με βάση τη διαφορετικότητα ή την «ετεροποίηση».

Για τον εντοπισμό απάτης σε κοινωνικές παροχές στα συστήματα συνταξιοδότησης και παιδικής μέριμνας, οι αρχές της Δανίας χρησιμοποιούν τον αλγόριθμο Really Single για να προβλέψουν την οικογενειακή ή συγγενική κατάσταση ενός ατόμου. Μία από τις παραμέτρους που χρησιμοποιεί ο αλγόριθμος ελέγχου για απάτες Really Single περιλαμβάνει «ασυνήθιστο» ή «άτυπο» τρόπο ζωής ή οικογενειακής δομής. Ωστόσο, δεν υπάρχει καμία σαφήνεια σχετικά με το τι συνιστά τέτοιες καταστάσεις, αφήνοντας ανοιχτή την πόρτα για αυθαίρετη λήψη αποφάσεων.

«Άτομα με μη παραδοσιακή οικογενειακή δομή -όπως άτομα με αναπηρία που είναι παντρεμένα αλλά ζουν χωριστά λόγω της αναπηρίας τους- ηλικιωμένα άτομα σε σχέσεις που ζουν χωριστά- ή όσα άτομα ζουν σε σπίτια με πολλές γενιές, μια συνηθισμένη συνθήκη σε κοινότητες μεταναστριών και μεταναστών- κινδυνεύουν να στοχοποιηθούν από τον αλγόριθμο Really Single για περαιτέρω έρευνα για απάτη με κοινωνικές παροχές», δήλωσε η Hellen Mukiri-Smith.

Η UDK και η ATP χρησιμοποιούν επίσης πληροφορίες που σχετίζονται με «άλλες χώρες» στα αλγοριθμικά τους μοντέλα. Ο αλγόριθμος Model Abroad εντοπίζει ομάδες δικαιούχων που θεωρείται ότι έχουν «μέτριους και ισχυρούς δεσμούς» με χώρες εκτός ΕΟΧ και δίνει προτεραιότητα σε αυτές τις ομάδες για περαιτέρω έρευνες απάτης. Η έρευνα διαπιστώνει ότι η προσέγγιση αυτή εισάγει διακρίσεις εις βάρος ατόμων με βάση παράγοντες όπως η εθνική καταγωγή και το μεταναστευτικό καθεστώς.

Η UDK στην απάντησή της στη Διεθνή Αμνηστία δήλωσε ότι η χρήση της «ιθαγένειας» ως παραμέτρου στους αλγορίθμους της δεν συνιστά επεξεργασία ευαίσθητων προσωπικών πληροφοριών. Η Διεθνής Αμνηστία διαφωνεί με αυτό το επιχείρημα της UDK και της ATP, δεδομένου ότι η ιθαγένεια ως παράμετρος θα μπορούσε να αποκαλύψει τη φυλή, την εθνικότητα, το μεταναστευτικό καθεστώς ενός ατόμου και κάνει άμεσα διακρίσεις λόγω εθνικής καταγωγής.

Ένα σύστημα κοινωνικής βαθμολόγησης;

Η UDK και η ATP παρείχαν στη Διεθνή Αμνηστία επεξεργασμένη τεκμηρίωση σχετικά με τον σχεδιασμό ορισμένων αλγοριθμικών συστημάτων και απέρριψαν σταθερά τα αιτήματα της Διεθνούς Αμνηστίας για από κοινού έλεγχο, αρνούμενες να παράσχουν πλήρη πρόσβαση στον κώδικα και τα δεδομένα που χρησιμοποιούνται στους αλγορίθμους ανίχνευσης απάτης.

«Οι πληροφορίες που συνέλεξε και ανέλυσε η Διεθνής Αμνηστία υποδηλώνουν ότι το σύστημα που χρησιμοποιείται από την UDK και την ATP λειτουργεί ως σύστημα κοινωνικής βαθμολόγησης βάσει του νέου νόμου της ΕΕ για την τεχνητή νοημοσύνη (AI Act) - και ως εκ τούτου θα πρέπει να απαγορευτεί», δήλωσε η Hellen Mukiri-Smith.

Η UDK απέρριψε την εκτίμηση της Διεθνούς Αμνηστίας ότι το σύστημά της για την ανίχνευση απάτης είναι πιθανό να εμπίπτει στην απαγόρευση της κοινωνικής βαθμολόγησης του AI Act, χωρίς όμως να δώσει επαρκείς εξηγήσεις για το σκεπτικό της.

Η Διεθνής Αμνηστία προτρέπει επίσης την Ευρωπαϊκή Επιτροπή να αποσαφηνίσει, στον οδηγό της για τον νόμο περί Τεχνητής Νοημοσύνης (AI Act), ποιες πρακτικές Τεχνητής Νοημοσύνης θεωρούνται κοινωνική βαθμολόγηση, αντιμετωπίζοντας τις ανησυχίες που διατυπώθηκαν από την κοινωνία των πολιτών.

Η οργάνωση καλεί επίσης τις αρχές της Δανίας να διασφαλίσουν ότι το σύστημα ανίχνευσης απάτης που χρησιμοποιεί η UDK δεν είναι σύστημα κοινωνικής βαθμολόγησης - μέχρι τότε, το σύστημα πρέπει να σταματήσει.

«Οι αρχές της Δανίας πρέπει να εφαρμόσουν επειγόντως μια σαφή και νομικά δεσμευτική απαγόρευση της χρήσης δεδομένων που σχετίζονται με «άλλες χώρες» ή υποκατάστατες μεταβλητές σε βαθμολόγηση κινδύνου για λόγους ελέγχου απάτης. Πρέπει επίσης να διασφαλίσουν ισχυρή διαφάνεια και επαρκή εποπτεία κατά την ανάπτυξη και εφαρμογή των αλγορίθμων ελέγχου απάτης», δήλωσε η Hellen Mukiri-Smith.

Σύμφωνα με διάφορες διεθνείς συνθήκες για τα ανθρώπινα δικαιώματα, τους νόμους της Ευρωπαϊκής Ένωσης και το εθνικό δίκαιο, η Δανία έχει νομική υποχρέωση να διασφαλίζει τα ανθρώπινα δικαιώματα, όπως η προστασία της ιδιωτικής ζωής, η προστασία των δεδομένων, η ελευθερία της έκφρασης, η ισότητα και η απαγόρευση των διακρίσεων.

«Αυτά τα δικαιώματα δεν αποτελούν απλώς την κινητήρια δύναμη μιας δίκαιης κοινωνίας, αλλά επιτρέπουν επίσης τη δίκαιη πρόσβαση στην κοινωνική ασφάλιση, την υγειονομική περίθαλψη και πολλά άλλα», δήλωσε η Hellen Mukiri-Smith.

Ιστορικό

Πριν από τη δημοσίευση της έκθεσης, η Διεθνής Αμνηστία επικοινώνησε με την NNIT, αλλά η εταιρεία δεν παρείχε περαιτέρω πληροφορίες σχετικά με τις συμβατικές ρυθμίσεις της με την UDK και την ATP, επικαλούμενη υποχρεώσεις εμπιστευτικότητας. Η NNIT δεν αποκάλυψε επίσης πληροφορίες σχετικά με τη δέουσα επιμέλεια ως προς τα ανθρώπινα δικαιώματα που διενήργησε πριν από τη σύναψη της συμφωνίας της με την UDK και την ATP.

Η έρευνα για τη Δανία βασίζεται επίσης σε προηγούμενη έρευνα της Διεθνούς Αμνηστίας σχετικά με την αυτοματοποίηση και την ψηφιοποίηση του δημόσιου τομέα στην Ολλανδία, την Ινδία και τη Σερβία, καθώς και τους κινδύνους και τις επιπτώσεις που προκύπτουν για τα ανθρώπινα δικαιώματα από την αλγοριθμική λήψη αποφάσεων στις εν λόγω δικαιοδοσίες.