ΤΟ ΟΛΛΑΝΔΙΚΟ ΣΚΑΝΔΑΛΟ ΕΠΙΔΟΜΑΤΩΝ ΠΑΙΔΙΚΗΣ ΜΕΡΙΜΝΑΣ ΚΑΜΠΑΝΑΚΙ ΓΙΑ ΤΗΝ ΑΠΑΓΟΡΕΥΣΗ ΤΩΝ ΡΑΤΣΙΣΤΙΚΩΝ ΑΛΓΟΡΙΘΜΩΝ

Η ολλανδική κυβέρνηση διακινδυνεύει την επιδείνωση των φυλετικών διακρίσεων μέσω της συνεχιζόμενης χρήσης ανεξέλεγκτων αλγορίθμων στον δημόσιο τομέα, ανέφερε η Διεθνής Αμνηστία σε επιβαρυντική νέα ανάλυση γύρω από το σκάνδαλο των επιδομάτων παιδικής μέριμνας της χώρας.

Η έκθεση «Ξενοφοβικές μηχανές» αποκαλύπτει τον τρόπο με τον οποίο το φυλετικό προφίλ ενσωματώθηκε στον σχεδιασμό του αλγοριθμικού συστήματος που χρησιμοποιήθηκε για να προσδιορίζει εάν οι αξιώσεις για το επίδομα παιδικής μέριμνας επισημαίνονται ως εσφαλμένες και δυνητικά δόλιες. Δεκάδες χιλιάδες γονείς και φροντιστές/ίστριες κυρίως από οικογένειες χαμηλού εισοδήματος κατηγορήθηκαν ψευδώς για απάτη από τις ολλανδικές φορολογικές αρχές, με αποτέλεσμα να επηρεάζονται δυσανάλογα άτομα από εθνικές μειονότητες. Ενώ το σκάνδαλο έριξε την ολλανδική κυβέρνηση τον Ιανουάριο, δεν έχουν αντληθεί αρκετά μαθήματα παρά τις πολλαπλές έρευνες.

«Χιλιάδες ζωές καταστράφηκαν από μια επαίσχυντη διαδικασία, η οποία περιλαμβάνει έναν ξενοφοβικό αλγόριθμο που βασίζεται στο φυλετικό προφίλ. Οι ολλανδικές αρχές κινδυνεύουν να επαναλάβουν αυτά τα καταστροφικά λάθη, καθώς η προστασία των ανθώπινων δικαιωμάτων εξακολουθεί να λείπει από τη χρήση αλγοριθμικών συστημάτων», δήλωσε η Merel Koning, ανώτερη σύμβουλος σε θέματα τεχνολογίας και Ανθρώπινων Δικαιωμάτων στη Διεθνή Αμνηστία.

«Κατά έναν ανησυχητικό τρόπο, οι Ολλανδοί/ές δεν είναι μόνοι/ες. Οι κυβερνήσεις σε όλο τον κόσμο σπεύδουν να αυτοματοποιήσουν την παροχή δημόσιων υπηρεσιών, αλλά τα περισσότερο περιθωριοποιημένα άτομα της κοινωνίας πληρώνουν το υψηλότερο τίμημα.

Η Διεθνής Αμνηστία καλεί όλες τις κυβερνήσεις να εφαρμόσουν άμεση απαγόρευση της χρήσης δεδομένων σχετικά με την υπηκοότητα και την εθνικότητα κατά τη βαθμολόγηση κινδύνου για σκοπούς επιβολής του νόμου κατά την αναζήτηση πιθανών υπόπτων εγκλήματος ή απάτης.

Επαναλαμβανόμενο μοτίβο διακρίσεων

Από την αρχή, φυλετικές και εθνοτικές διακρίσεις ήταν κεντρικής σημασίας στον σχεδιασμό του αλγοριθμικού συστήματος που εισήχθη το 2013 από τις ολλανδικές φορολογικές αρχές για τον εντοπισμό εσφαλμένων αιτήσεων για τα επιδόματα παιδικής μέριμνας και πιθανής απάτης. Οι φορολογικές αρχές χρησιμοποίησαν πληροφορίες σχετικά με το εάν ο/η αιτών/ούσα είχε ολλανδική υπηκοότητα ως παράγοντα κινδύνου, και οι μη Ολλανδοί/ές υπήκοοι κατέγραφαν περισσότερους βαθμούς κινδύνου.

Σε γονείς και φροντιστές/ίστριες παιδιών που επιλέχθηκαν από το σύστημα αναστάλθηκαν τα οφέλη τους και υποβλήθηκαν σε επιθετικές έρευνες, οι οποίες χαρακτηρίζονταν από σκληρούς κανόνες και τακτικές, άκαμπτη ερμηνεία των νόμων και αδίστακτες πολιτικές ανάκτησης παροχών. Αυτό δημιούργησε καταστροφικά οικονομικά προβλήματα στις πληγείσες οικογένειες, από χρέη και ανεργία έως εξαναγκαστικές εξώσεις επειδή οι άνθρωποι δεν μπορούσαν να πληρώσουν το ενοίκιο ή τα στεγαστικά τους δάνεια. Άλλοι/ες κατέληξαν να αντιμετωπίζουν ζητήματα ψυχικής υγείας και άγχους στις διαπροσωπικές τους σχέσεις, κάτι που οδήγησε σε διαζύγια και διαλυμένα σπίτια.

Αυτά τα σχεδιαστικά σφάλματα που γεννούν διακρίσεις αναπαράχθηκαν από έναν αυτοδίδακτο μηχανισμό που σήμαινε ότι ο αλγόριθμος προσαρμόστηκε με την πάροδο του χρόνου με βάση την εμπειρία, χωρίς ουσιαστική ανθρώπινη επίβλεψη. Το αποτέλεσμα ήταν ένα επαναλαμβανόμενο μοτίβο διακρίσεων με μη Ολλανδούς/ές υπηκόους να επισημαίνονται ως δυνητικά διαπράττοντες/ουσες απάτη συχνότερα από τα άτομα ολλανδικής υπηκοότητας.

Απουσία λογοδοσίας

Όταν κάποιο άτομο επισημαίνονταν ως ύποπτο τέλεσης απάτης, ένας/μια δημόσιος/α υπάλληλος έπρεπε να διεξαγάγει έναν μη αυτόματο έλεγχο, χωρίς όμως να του παρέχονται πληροφορίες σχετικά με το γιατί το σύστημα είχε δημιουργήσει βαθμολογία υψηλότερου κινδύνου. Τέτοια αδιαφανή συστήματα «μαύρου κουτιού», στα οποία οι εισροές και οι υπολογισμοί του συστήματος δεν είναι ορατοί, έχουν οδηγήσει σε απουσία λογοδοσίας και εποπτείας.

«To σύστημα του μαύρου κουτιού οδήγησε σε μια μαύρη τρύπα λογοδοσίας, με τις ολλανδικές φορολογικές αρχές να εμπιστεύονται έναν αλγόριθμο για να βοηθά στη λήψη αποφάσεων χωρίς την κατάλληλη εποπτεία», δήλωσε η Merel Koning.

Υπήρχε ένα επίμονο κίνητρο από τις φορολογικές αρχές να δεσμεύσουν όσο το δυνατόν περισσότερα κεφάλαια ανεξάρτητα από την ακρίβεια των κατηγοριών περί απάτης, καθώς έπρεπε να αποδείξουν την αποτελεσματικότητα του αλγοριθμικού συστήματος λήψης αποφάσεων. Στους γονείς και τους/τις φροντιστές/ίστριες παιδιών που ταυτοποιήθηκαν από τις φορολογικές αρχές ως απατεώνες δεν τους δόθηκε για χρόνια καμία απάντηση σχετικά με το τι είχαν κάνει λάθος.

Τα ευρήματα της έκθεσης «Ξενοφοβικές μηχανές» παρουσιάστηκαν σε επιμέρους εκδήλωση της Γενικής Συνέλευσης των Ηνωμένων Εθνών για τις αλγοριθμικές διακρίσεις στις 26 Οκτωβρίου. Φέτος, η Διεθνής Αμνηστία εγκαινιάζει ένα Εργαστήριο Αλγοριθμικής Λογοδοσίας, μια διεπιστημονική ομάδα επιφορτισμένη να διεξάγει έρευνες και εκστρατείες σχετικά με τους κινδύνους που διατρέχουν τα ανθρώπινα δικαιώματα από τα αυτοματοποιημένα συστήματα λήψης αποφάσεων στον δημόσιο τομέα. Η Διεθνής Αμνηστία καλεί τις κυβερνήσεις:

• Να αποτρέπουν τις παραβιάσεις των ανθρώπινων δικαιωμάτων αναφορικά με τη χρήση των αλγοριθμικών συστημάτων λήψης αποφάσεων, εφαρμόζοντας μεταξύ άλλων μια υποχρεωτική και δεσμευτική αξιολόγηση πιθανών επιπτώσεων στα ανθρώπινα δικαιώματα πριν από τη χρήση τέτοιων συστημάτων.
• Να καθιερώσουν αποτελεσματικούς μηχανισμούς παρακολούθησης και εποπτείας των αλγοριθμικών συστημάτων στον δημόσιο τομέα.
• Να οδηγούν σε λογοδοσία τα άτομα που είναι υπεύθυνα για τις παραβιάσεις και να χορηγούν αποτελεσματικές αποζημιώσεις σε άτομα και ομάδες των οποίων τα δικαιώματα έχουν παραβιαστεί.
• Να σταματήσουν τη χρήση συστημάτων μαύρων κουτιών και αυτοδίδακτων αλγορίθμων, με τα οποία οι αποφάσεις είναι πιθανό να επιφέρουν σημαντικές επιπτώσεις στα δικαιώματα των ατόμων.