Εκπρόσωποι των μεγαλύτερων κολοσσών του ίντερνετ συζήτησαν και αποφάσισαν για τους κανόνες ηθικής που θα διέπουν την ανάπτυξη της Τεχνητής Νοημοσύνης κατ’ εντολή της Ευρωπαϊκής Επιτροπής, εξασφαλίζοντας έτσι ένα πλαίσιο εφαρμογών όπου θα κυριαρχεί η αναζήτηση του κέρδους.
Το άρθρο γνώμης του Γερμανού διανοούμενου είδε το φως της δημοσιότητας την ίδια μέρα με το κείμενο που εξέδωσε η Ευρωπαϊκή Επιτροπή, υπό τον τίτλο «Οδηγίες ηθικής για αξιόπιστη Τεχνητή Νοημοσύνη».[ii] Εν συντομία, πρόκειται για έναν «οδηγό καλής συμπεριφοράς» στο ραγδαία αναπτυσσόμενο πεδίο της Τεχνητής Νοημοσύνης. Συγγραφείς αυτού του οδηγού ήταν η «Ομάδα Υψηλού Επιπέδου για την Τεχνητή Νοημοσύνη», την οποία συγκρότησε η Ευρωπαϊκή Επιτροπή και η οποία αποτελούνταν από 52 εμπειρογνώμονες, μεταξύ αυτών και ο Γερμανός καθηγητής. Μαζί του, εκπρόσωποι ερευνητικών κέντρων και επίσης των μεγαλύτερων πολυεθνικών του διαδικτύου και όχι μόνο: Google, IBM, Bosch, SAP, Orange, Nokia, AXA, Bayer, κ.ά.
Το κείμενο της Επιτροπής είναι γραμμένο στη συνήθη… εμπνευσμένη, πρωτότυπη, απαλλαγμένη από αμφισημίες και κυρίως φιλική προς τον χρήστη γλώσσα που χρησιμοποιεί η Επιτροπή…
Το κείμενο της Επιτροπής είναι γραμμένο στη συνήθη… εμπνευσμένη, πρωτότυπη, απαλλαγμένη από αμφισημίες και κυρίως φιλική προς τον χρήστη γλώσσα που χρησιμοποιεί η Επιτροπή…
«Η αξιόπιστη τεχνητή νοημοσύνη περιλαμβάνει τρία συστατικά στα οποία θα πρέπει να ανταποκρίνεται κατά τη διάρκεια ολόκληρου του κύκλου ζωής του συστήματος. Πρώτο, θα πρέπει να είναι νομότυπη, συμμορφούμενη με όλους τους εφαρμοστέους νόμους και ρυθμίσεις. Δεύτερο, θα πρέπει να είναι ηθική, εξασφαλίζοντας την τήρηση των ηθικών αρχών και αξιών και, τρίτο, εύρωστη τόσο από τεχνική όσο και από κοινωνική σκοπιά, καθώς, ακόμη και με καλές προθέσεις, τα συστήματα τεχνητής νοημοσύνης μπορούν να προκαλέσουν ακούσια ζημιά», αναφέρεται από τις πρώτες κιόλας σελίδες της επιτελικής σύνοψης, όπου ξεκαθαρίζεται ότι αυτές οι κατευθύνσεις θέτουν το πλαίσιο για την επίτευξη μιας αξιόπιστης Τεχνητής Νοημοσύνης. Στη συνέχεια περιγράφονται τα θεμέλια, οι απαιτήσεις και οι τεχνικές και μη-τεχνικές μέθοδοι για την υλοποίηση μιας αξιόπιστης Τεχνητής Νοημοσύνης.
Προς το τέλος δε των κατευθύνσεων της Επιτροπής αναφέρονται παραδείγματα ευκαιριών, αλλά και πεδία «κρίσιμου προβληματισμού», όπως χαρακτηρίζονται. Στις ευκαιρίες περιλαμβάνεται η αντιμετώπιση της κλιματικής αλλαγής και η δημιουργία βιώσιμων υποδομών, η βελτίωση της υγείας και της ευημερίας, κ.λπ. Από την άλλη, παρατίθενται συγκεκριμένα πεδία που «εγείρουν προβληματισμό», κατά την ορολογία της Ομάδας Ειδικών Υψηλού Επιπέδου, όπως για παράδειγμα η ταυτοποίηση και η παρακολούθηση ατόμων με μεθόδους Τεχνητής Νοημοσύνης, η εν αγνοία των ανθρώπων επαφή τους με καλυμμένα συστήματα Τεχνητής Νοημοσύνης, η «κοινωνική αξιολόγηση»[1] και το πλέον δραματικό, το χειρότερο όλων, η ανάπτυξη αυτόνομων οπλικών συστημάτων.
Προς το τέλος δε των κατευθύνσεων της Επιτροπής αναφέρονται παραδείγματα ευκαιριών, αλλά και πεδία «κρίσιμου προβληματισμού», όπως χαρακτηρίζονται. Στις ευκαιρίες περιλαμβάνεται η αντιμετώπιση της κλιματικής αλλαγής και η δημιουργία βιώσιμων υποδομών, η βελτίωση της υγείας και της ευημερίας, κ.λπ. Από την άλλη, παρατίθενται συγκεκριμένα πεδία που «εγείρουν προβληματισμό», κατά την ορολογία της Ομάδας Ειδικών Υψηλού Επιπέδου, όπως για παράδειγμα η ταυτοποίηση και η παρακολούθηση ατόμων με μεθόδους Τεχνητής Νοημοσύνης, η εν αγνοία των ανθρώπων επαφή τους με καλυμμένα συστήματα Τεχνητής Νοημοσύνης, η «κοινωνική αξιολόγηση»[1] και το πλέον δραματικό, το χειρότερο όλων, η ανάπτυξη αυτόνομων οπλικών συστημάτων.
Ανάπτυξη θανατηφόρων όπλων
«Στις μέρες μας, άγνωστος αριθμός κρατών και βιομηχανιών ερευνά και αναπτύσσει θανατηφόρα αυτόνομα οπλικά συστήματα, που εκτείνονται από πυραύλους ικανούς για επιλεκτική στόχευση μέχρι μηχανές που μαθαίνουν με γνωσιακές δεξιότητες και αποφασίζουν ποιον, πότε και πού θα πολεμήσουν, χωρίς την ανθρώπινη παρέμβαση. Αυτό θέτει θεμελιώδεις ηθικούς προβληματισμούς, όπως το γεγονός ότι θα μπορούσε να οδηγήσει σε μια ανεξέλεγκτη κούρσα εξοπλισμών σε επίπεδα άνευ ιστορικού προηγουμένου και να δημιουργήσει στρατιωτικά περιβάλλοντα στα οποία ο ανθρώπινος έλεγχος είναι σχεδόν εξ ολοκλήρου ανύπαρκτος και οι κίνδυνοι κακής λειτουργίας είναι μη διαχειρίσιμοι», αναφέρεται κατά λέξη στο κείμενο. Στη συνέχεια οι 52 Εμπειρογνώμονες επικαλούνται κάλεσμα του Ευρωπαϊκού Κοινοβουλίου για την επείγουσα ανάπτυξη μιας κοινής, νομικά δεσμευτικής θέσης που θα διαχειρίζεται ηθικά και νομικά ζητήματα ανθρώπινου ελέγχου, εποπτείας, λογοδοσίας και εφαρμογής του διεθνούς δικαίου ανθρωπίνων δικαιωμάτων, του διεθνούς ανθρωπιστικού δικαίου και στρατιωτικών στρατηγικών.Η θέση της Ομάδας Εμπειρογνωμόνων είναι σκανδαλωδώς συντηρητική σε σύγκριση με τις συζητήσεις και τις πρωτοβουλίες που έχουν ληφθεί, σε διεθνές μάλιστα επίπεδο. Η πλέον εμβληματική υιοθετήθηκε από μια ομάδα γνωστών επιστημόνων στην οποία συμμετείχαν ακόμη και διακεκριμένοι πρόεδροι εταιρειών ρομποτικής και προηγμένης τεχνολογίας, όπως ο Έλον Μουσκ της Tesla. Με κοινή τους επιστολή προς τον ΟΗΕ τον Αύγουστο του 2017 ζήτησαν από τον οργανισμό να αναλάβει πρωτοβουλίες με τις οποίες να εμποδίσει, μέσω μιας διεθνούς συμφωνίας, την ανάπτυξη και χρήση ρομποτικών μηχανών σε στρατιωτικές επιχειρήσεις. Η έκκληση προς τον ΟΗΕ ήταν η κατάληξη της Διεθνούς Διάσκεψης για την Τεχνητή Νοημοσύνη που πραγματοποιήθηκε το 2017 στη Μελβούρνη της Αυστραλίας. Κατά συνέπεια, η ΕΕ δε χρειαζόταν να ανοίξει νέους δρόμους, αρκούσε να προσθέσει το ειδικό της βάρος σε υπαρκτές πρωτοβουλίες!
Σε αυτό το τοπίο, όπου τα επιχειρήματα έχουν ήδη αναπτυχθεί, ξεδιπλώθηκε η κριτική του Γερμανού καθηγητή Μέτζινγκερ, που εκκινούσε από το θεωρητικό πλαίσιο. «Η ιστορία της αξιόπιστης Τεχνητής Νοημοσύνης είναι μια αφήγηση του μάρκετινγκ, επινόηση της βιομηχανίας, ένα παραμυθάκι για τους αυριανούς πελάτες», έγραψε στην Τάγκεσπιγκελ. «Η υποκείμενη καθοδηγητική ιδέα μιας “αξιόπιστης Τεχνητής Νοημοσύνης” είναι πρώτα και κύρια εννοιολογική ανοησία. Οι μηχανές δεν είναι αξιόπιστες. Μόνο οι άνθρωποι μπορούν να είναι αξιόπιστοι (ή αναξιόπιστοι)». Η κριτική του Γερμανού φιλοσόφου δεν εξαντλείται στη σφαίρα των ιδεών. «Η σύνθεση της Ομάδας Υψηλού Επιπέδου για την Τεχνητή Νοημοσύνη είναι μέρος του προβλήματος. Αποτελείται μόνο από τέσσερις επιστήμονες του κλάδου της ηθικής (ethicists), μαζί με 48 που δεν προέρχονται από τον κλάδο της ηθικής (non-ethicists, στο πρωτότυπο, με το υπονοούμενο να είναι κάτι περισσότερο από εμφανές) εκπροσώπους της πολιτικής, των πανεπιστημίων, της κοινωνίας των πολιτών και πάνω απ’ όλα της βιομηχανίας… Υπάρχουν καλοί και ευφυείς άνθρωποι εκεί και αξίζει να τους ακούσουμε. Ωστόσο, παρότι η Ομάδα περιλάμβανε πολλούς έξυπνους ανθρώπους, το πηδάλιο δεν μπορεί να αφεθεί στη βιομηχανία».
Προς επίρρωση του ισχυρισμού του, ότι το πηδάλιο δεν έπρεπε να αφεθεί στη βιομηχανία της υψηλής τεχνολογίας, ακολούθησαν οι αποκαλύψεις του: «Ως μέλος της Ομάδας Εμπειρογνωμόνων, είμαι απογοητευμένος από το αποτέλεσμα που τώρα παρουσιάστηκε. Οι οδηγίες είναι χλιαρές, κοντόφθαλμες και σκόπιμα ασαφείς. Αγνοούν τους μακροχρόνιους κινδύνους, συγκαλύπτουν δύσκολα προβλήματα (“εξηγησιμότητα”) με ρητορική, παραβιάζουν βασικές αρχές του ορθολογισμού και προσποιούνται ότι γνωρίζουν πράγματα που κανείς πραγματικά δεν γνωρίζει».
«Κρίσιμος προβληματισμός», αντί για «κόκκινες γραμμές»
Ο Μέτζινγκερ γίνεται ακόμη πιο συγκεκριμένος:«Η δουλειά μου ήταν να αναπτύξω, κατά τη διάρκεια πολλών μηνών συζήτησης, τις “κόκκινες γραμμές” – μη-διαπραγματεύσιμες ηθικές αρχές που ορίζουν τι δε θα πρέπει να γίνει με την Τεχνητή Νοημοσύνη στην Ευρώπη. Η χρήση θανάσιμων αυτόνομων οπλικών συστημάτων ήταν ένα εμφανές θέμα στη λίστα μας, όπως επίσης και η υποστηριζόμενη από τεχνητή νοημοσύνη αξιολόγηση των πολιτών από το κράτος (κοινωνική αξιολόγηση) και, κατ’ αρχήν, η χρήση Τεχνητής Νοημοσύνης που οι άνθρωποι δεν μπορούν να καταλάβουν περαιτέρω και να ελέγξουν. Κατάλαβα ότι όλο αυτό δεν ήταν στην πραγματικότητα επιθυμητό, μόνον όταν ο Φιλανδός πρόεδρος της Ομάδας Υψηλού Επιπέδου Πεκά Αλά-Πιετιλά (πρώην Nokia) μου ζήτησε με ευγενική φωνή αν θα μπορούσαμε να αποσύρουμε τη φράση «μη-διαπραγματεύσιμο» από το έγγραφο. Στο επόμενο βήμα, πολλοί αντιπρόσωποι της βιομηχανίας και μέλη της ομάδας ενδιαφέρθηκαν για ένα “θετικό όραμα” επιμένοντας κατηγορηματικά να φύγει πλήρως από το κείμενο η φράση “κόκκινες γραμμές” – παρότι ακριβώς αυτές οι κόκκινες γραμμές ήταν η εντολή μας. Το δημοσιευμένο έγγραφο δεν περιλαμβάνει καμία συζήτηση για “κόκκινες γραμμές”, τρεις διαγράφηκαν εντελώς και οι υπόλοιπες θόλωσαν. Στη θέση τους υπάρχει μόνο συζήτηση περί “κρίσιμου προβληματισμού”».
Ο Γερμανός φιλόσοφος ολοκληρώνει την κριτική του, καταγγέλλοντας τις Βρυξέλλες ότι με ανάλογες πρωτοβουλίες παραπλανούν την κοινωνία.
«Αυτό το φαινόμενο είναι ένα παράδειγμα “ηθικού ξεπλύματος”. Η βιομηχανία οργανώνει και καλλιεργεί ηθικές διαμάχες για να αγοράσει χρόνο – να εκτρέψει την προσοχή του κοινού και να αποτρέψει ή τουλάχιστον να καθυστερήσει αποτελεσματική ρύθμιση και πολιτικές αποφάσεις».
Επισημαίνει μάλιστα τον ακόλουθο και αρκετά οικείο μας κίνδυνο:
«όπως με τα fake news, θα έχουμε τώρα ένα πρόβλημα με τα fake ethics που θα περιλαμβάνουν πολλά προπετάσματα καπνού και αντικατοπτρισμούς, καλοαμειβόμενους βιομηχανικούς φιλοσόφους, αυτο-επινόηση σφραγίδων ποιότητας και μη-επικυρωμένα πιστοποιητικά “Ethical AI Made in Europe”».
Συνάγεται επομένως το συμπέρασμα ότι η Ευρωπαϊκή Ένωση έδωσε στους μεγάλους του διαδικτύου τη δυνατότητα να ορίσουν το πλαίσιο και την κατεύθυνση ανάπτυξης των εφαρμογών Τεχνητής Νοημοσύνης. Έτσι, ως κριτήριο επιλογής θεμιτών και αθέμιτων εφαρμογών, ορίστηκε στην πράξη το επιχειρηματικό κέρδος. Η αναγόρευση των επιχειρηματικών κολοσσών σε άτυπη μεν, πλήρους αρμοδιοτήτων δε, ρυθμιστική αρχή της Τεχνητής Νοημοσύνης, όταν θεωρητικά η ίδια αρμοδιότητα θα μπορούσε να είχε δοθεί σε ερευνητικά κέντρα, πανεπιστήμια, κ.τ.ό. θα αποβεί στο τέλος εμπόδιο για την ίδια την ανάπτυξή της, καθώς θα κυριαρχήσει το βραχυπρόθεσμο εταιρικό συμφέρον σε βάρος όχι μόνο των θεμελιωδών ανθρώπινων ελευθεριών, αλλά και των δυνατοτήτων που προσφέρει η ίδια η επιστήμη.
Στην Ευρώπη θα συμβεί, αν δεν έχει ήδη συμβεί, ό,τι παρατηρείται εδώ και χρόνια στις ΗΠΑ. Το περιγράφει με κάθε λεπτομέρεια στο περιοδικό ΜΙΤ Technology Review η Άμυ Γουέμπ, συγγραφέας του βιβλίου The Big Nine: How the Tech Titans and Their Thinking Machines Could Warp Humanity. Δικής της μάλιστα επινόησης είναι και το αρκτικόλεξο G-MAFIA, με το οποίο περιγράφει εν συντομία τους μεγάλους τους διαδικτύου: Google, Microsoft, Amazon, Facebook, IBM, Apple. Αναφέρει κατά λέξη:
«Στις ΗΠΑ υποφέρουμε επίσης από τραγική έλλειψη προβλέψεων. Αντί να δημιουργήσουμε μια μεγάλη στρατηγική για την Τεχνητή Νοημοσύνη ή για το δικό μας μακροπρόθεσμο μέλλον, η ομοσπονδιακή κυβέρνηση έχει απογυμνώσει χρηματοδοτικά την επιστήμη και την τεχνολογική έρευνα. Έτσι, το χρήμα πρέπει να έρθει από τον ιδιωτικό τομέα. Οι επενδυτές όμως αναμένουν ένα είδος ανταμοιβής. Αυτό είναι το πρόβλημα. Δεν μπορείς να προγραμματίσεις τις ανακαλύψεις σου στην έρευνα και την ανάπτυξη, όταν εργάζεσαι στη θεμελιώδη τεχνολογία και την έρευνα. Θα ήταν τρομερό αν οι μεγάλες τεχνολογικές εταιρείες είχαν την πολυτέλεια να εργάζονται πράγματι σκληρά χωρίς να πρέπει να οργανώσουν ένα ετήσιο συνέδριο, όπου θα πρέπει να επιδείξουν τα πιο πρόσφατα και σημαντικότερα επιτεύγματά τους. Αντίθετα, τώρα έχουμε αναρίθμητα παραδείγματα κακών αποφάσεων που έλαβε κάποιος στη G-MAFIA, πιθανά επειδή εργάζονταν γρήγορα. Αρχίζουμε να βλέπουμε τα αρνητικά αποτελέσματα της σύγκρουσης μεταξύ της πραγματοποίησης έρευνας προς το καλύτερο όφελος της ανθρωπότητας από τη μια και της επιδίωξης να κάνουμε τους επενδυτές χαρούμενους από την άλλη».[iii]
Ο τεχνολογικός ντετερμινισμός επιστρέφει
Σε ένα ευρύτερο πλαίσιο ωστόσο, οι ελπίδες που δημιουργούνται με την ανάπτυξη της Τεχνητής Νοημοσύνης, καταλήγοντας στο συμπέρασμα ότι τα επιτεύγματα της τεχνολογίας μπορούν να αξιοποιηθούν προς όφελος της πλειοψηφίας, διορθώνοντας το υπάρχον υπόδειγμα διανομής και αναδιανομής εισοδήματος (όπως σε αδρές γραμμές ορίζεται από τη συρρίκνωση του κράτους πρόνοιας[iv] και την πτώση των μισθών[v]), είναι αβάσιμες και συνιστούν ευσεβείς πόθους. Όλο και περισσότερο η Τεχνητή Νοημοσύνη παρουσιάζεται σαν ένα αόρατο χέρι που θα διορθώσει τα κακώς κείμενα (από φτώχεια μέχρι ανισότητες), λες και η παρουσία τους ήταν αποτέλεσμα τεχνολογικής υστέρησης. Αρχικά, αυτή η αντίληψη είναι προϊόν της θεωρίας του τεχνολογικού ντετερμινισμού. «Σύμφωνα με αυτήν, η τεχνολογία είναι στην πραγματικότητα ένας ανεξάρτητος παράγοντας και οι τεχνολογικές αλλαγές προκαλούν τις κοινωνικές αλλαγές. Στην ισχυρότερη εκδοχή της, η θεωρία υποστηρίζει ότι οι τεχνολογικές αλλαγές είναι η σημαντικότερη αιτία των κοινωνικών αλλαγών. Σύμφωνα με τον τεχνολογικό ντετερμινισμό, η τεχνολογία επιδρά στην κοινωνία απ’ έξω».[vi]Η πραγματικότητα, όπως εύκολα μπορεί να συνοψιστεί σε μια εικόνα με τους μεγάλους του διαδικτύου να κρατούν το πηδάλιο της Τεχνητής Νοημοσύνης, που αργά ή γρήγορα θα μετατρέψουν και αυτό το πεδίο σε μια τεράστια εμποροπανήγυρη, όπως συνέβη με την ιδιωτικοποίηση του ίντερνετ επί Μπιλ Κλίντον το 1996,[vii] διαψεύδει ανάλογες ευγενικές ομολογουμένως προσδοκίες. Αυτή η πραγματικότητα συνάδει πλήρως με όσα υποστηρίζει εις εκ των τριών ιδρυτών της Πολιτικής Οικονομίας, ο Ντέιβιντ Ρικάρντο, ο οποίος στο θεμελιώδες έργο του προσγειώνει απότομα υψιπετείς ουτοπίες, συμπεραίνοντας ότι ο καταστρεπτικός ρόλος των μηχανών για τα συμφέροντα της εργασίας «δεν είναι προϊόν προκαταλήψεων ή πλάνης, αλλά συμφωνεί με τις ορθές αρχές της Πολιτικής Οικονομίας» (σελ. 375).[viii] Λίγες σελίδες παρακάτω δε, συμπεραίνει ότι «οι μηχανές και η εργασία βρίσκονται σε διαρκή ανταγωνισμό» (σελ. 378). Προς επίρρωση έρχονται τα όσα απογοητευτικά και απαισιόδοξα είναι σε εξέλιξη επί των ημερών μας στο πεδίο της Τεχνητής Νοημοσύνης…
[1] Πρόκειται για ένα οργουελικής έμπνευσης σύστημα που έχει ήδη εφαρμοστεί στην Κίνα και ενοποιεί πληροφορίες για τον κάθε πολίτη οικονομικού και κοινωνικού περιεχομένου (από τη συνέπεια στην αποπληρωμή των δόσεων ενός δανείου μέχρι πιθανές κλήσεις από την τροχαία και καταδίκες από δικαστήρια) δημιουργώντας ως κοινή συνισταμένη έναν πίνακα βαθμολογίας που χρησιμοποιείται ακόμη και για τον καθορισμό επιτοκίου δανεισμού από τις τράπεζες.
[i] EU Guidelines: Ethics washing made in Europe, 8.4.2019, Tagesspiegel, https://www.tagesspiegel.de/politik/eu-guidelines-ethics-washing-made-in-europe/24195496.html [Τελευταία πρόσβαση: 30.5.2019]
[ii] European Commission, Ethics Guidelines for Trustworthy AI, Independent High-Level Expert Group on Artificial Intelligence set up by the European Commission, https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai [Τελευταία πρόσβαση: 30.5.2019].
[iii] Hao, K. (26.2.2019), “Why A.I. Is a Threat to Democracy – and What We Can Do to Stop It”, MIT Technology Review.
[iv] Παπαθεοδώρου Χρ. (2019), «Φτώχεια και λιτότητα στην Ελλάδα της κρίσης: Η ενδυνάμωση του νεοφιλελευθερισμού και η συρρίκνωση του συστήματος κοινωνικής προστασίας»,στο: Κ. Δημουλάς – Γ. Κουζής (επιμ.), Κρίση και κοινωνική πολιτική, αδιέξοδα και λύσεις, εκδ. Τόπος, σελ. 45-65.
[v] D. Autor et. al. “The Fall of the Labor Share and the Rise of the Superstar Firms“, NBER, May 2, 2017.
[vi] Makenzie D. & Wajcman J., «Η κοινωνική διάπλαση της τεχνολογίας: πώς το ψυγείο απέκτησε το βουητό του», στο: Ανδριάνα Βλάχου (επιμ.), Πολιτική οικονομία του καπιταλισμού, εκδ. Κριτική, 2009, σελ. 351-382. Μια άλλη εκδοχή του ίδιου άρθρου: McKenzie D. & Wajcman (1999), “Introductory essay: The social shaping of technology”, London School of Economics and Political Science, LSE Research Online: https://eprints.lse.ac.uk/28638/1/Introductory%20essay%20%28LSERO%29.pdf [Τελευταία πρόσβαση: 30.5.2019]
[vii] Σμυρναίος Ν. (2018), Το ολιγοπώλιο του διαδικτύου, πώς οι Google, Apple, Facebook, Amazon και Microsoft πήραν τον έλεγχο της ψηφιακής μας ζωής, Μεταμεσονύκτιες εκδόσεις.
[viii] Ρικάρντο Ντ. (1992), Αρχαί πολιτικής οικονομίας και φορολογίας, μετφρ. Νίκ. Π. Κωνσταντινίδη, Εισαγωγή: Δ. Καλιτσουνάκι, εκδ. Γκοβόστης.
Πηγή: Περιοδικό Δημοσιογραφία
ΠΗΓΗ: http://www.tinakanoume.gr/2020/01/blog-post_34.html?fbclid=IwAR01x5dNGZecQRdMBGfLj2H1rvAL4fwZKPasC-s__nV_FjwPRFGRcUACqdk#disqus_thread
ΠΗΓΗ: http://www.tinakanoume.gr/2020/01/blog-post_34.html?fbclid=IwAR01x5dNGZecQRdMBGfLj2H1rvAL4fwZKPasC-s__nV_FjwPRFGRcUACqdk#disqus_thread
Ανάρτηση από:geromorias.blogspot.com
Δεν υπάρχουν σχόλια:
Δημοσίευση σχολίου
Σημείωση: Μόνο ένα μέλος αυτού του ιστολογίου μπορεί να αναρτήσει σχόλιο.