ΔΙΑΧΕΙΡΙΣΗ ΜΕΓΑΛΩΝ ΔΕΔΟΜΕΝΩΝ

Κωδικός μαθήματος
ECO505
Μονάδες ECTS
6
Εξάμηνο
Εξάμηνο Ζ
Κατηγορία μαθήματος
Περιγραφή μαθήματος
ΓΕΝΙΚΑ

ΑΥΤΟΤΕΛΕΙΣ ΔΙΔΑΚΤΙΚΕΣ ΔΡΑΣΤΗΡΙΟΤΗΤΕΣ

ΕΒΔΟΜΑΔΙΑΙΕΣ ΩΡΕΣ ΔΙΔΑΣΚΑΛΙΑΣ

Διδασκαλία

3

ΤΥΠΟΣ ΜΑΘΗΜΑΤΟΣ

Επιλογής

ΠΡΟΑΠΑΙΤΟΥΜΕΝΑ ΜΑΘΗΜΑΤΑ:

Όχι

ΓΛΩΣΣΑ ΔΙΔΑΣΚΑΛΙΑΣ και ΕΞΕΤΑΣΕΩΝ:

Ελληνική

ΤΟ ΜΑΘΗΜΑ ΠΡΟΣΦΕΡΕΤΑΙ ΣΕ ΦΟΙΤΗΤΕΣ ERASMUS

ΝΑΙ
ΜΑΘΗΣΙΑΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ
Μαθησιακά Αποτελέσματα

Στο τέλος του μαθήματος ο φοιτητής θα μπορεί να:

  1. προσδιορίσει τις ιδιαιτερότητες, τα προβλήματα και τα ηθικά ζητήματα που προκύπτουν από τη διαχείριση δεδομένων μεγάλου όγκου, 

  2. εξηγήσει τους περιορισμούς των παλαιοτέρων προσεγγίσεων, 

  3. διακρίνει τα πλεονεκτήματα και τους περιορισμούς της παράλληλης και κατανεμημένης επεξεργασίας δεδομένων μεγάλου όγκου, όπως επίσης και των no-SQL βάσεων δεδομένων, 

  4. μοντελοποιήσει μεγάλα δεδομένα, και 

  5. χρησιμοποιεί σύγχρονες εφαρμογές / τεχνολογίες διαχείρισης μεγάλων δεδομένων. 

 
Γενικές Ικανότητες

  • Αναζήτηση, ανάλυση και σύνθεση δεδομένων και πληροφοριών, με τη χρήση και των απαραίτητων τεχνολογιών 

  • Λήψη αποφάσεων 

  • Αυτόνομη εργασία

  • Ομαδική εργασία 

  • Σχεδιασμός και διαχείριση έργων

  • Προαγωγή της ελεύθερης, δημιουργικής και επαγωγικής σκέψης

 
ΠΕΡΙΕΧΟΜΕΝΟ ΜΑΘΗΜΑΤΟΣ

Σύντομη Περιγραφή Μαθήματος: Το μάθημα εστιάζει στη διαχείριση δεδομένων μεγάλου όγκου και επικεντρώνεται σε αρχιτεκτο- νικές κατανεμημένων συστημάτων, συστήματα συστάδων υπολογιστών (cluster computing), τεχνολογίες πλέγ- ματος (grids) και νέφους (clouds), κατανεμημένα συστήματα αρχείων (π.χ., Google file system, Hadoop, Face- book Cassandra), αναζήτηση κατανεμημένων δεδομένων (Chord), μοντέλα παράλληλων/κατανεμημένων υπολο- γισμών για σχεσιακά δεδομένα (Map/Reduce) και γράφους (Pregel), NoSQL βάσεις δεδομένων (π.χ., Elasticsearch, MongoDB, Neo4j), οπτικοποίηση μεγάλων δεδομένων (π.χ., Kibana), κατανεμημένη διαχείριση ροών δεδομένων, εξόρυξη και εξαγωγή γνώσης από τα μεγάλα δεδομένα. Επίσης, αντικείμενο του μαθήματος είναι η χρήση των μεγάλων δεδομένων στα πλαίσια διαφορετικών εφαρμογών της καθημερινότητας (π.χ., κοινωνικά δίκτυα, υγεία, ηλεκτρονική διακυβέρνηση, κ.ά.), καθώς και τα ηθικά/ιδιωτικά ζητήματα που εγείρονται από τη χρήση τους. 

Το μάθημα αναπτύσσεται σε 13 ενότητες/διαλέξεις/εργαστήρια/φροντιστήρια.

Τίτλος ενότητας Βιβλιογραφία Σύνδεσμος παρουσίασης

  1. Επισκόπηση του μαθήματος -Εισαγωγή στα μεγάλα δεδομένα 

1. “Big data: Systems, programming, management” course @ School of Computing Science, University of Glasgow / 2. “Big Data” course @ Computer Science Dept., Colorado State University 

  

  1. Γνωρίζοντας τα (μεγάλα) δεδομένα

 

1. “Data Mining” course @ Computer Science Dept., University of Bozen-Bolzano / 2. J. Leskovec, A. Rajaraman, J. Ullman: Mining of Massive Datasets @ Computer Science Dept., Stanford University, κεφ. 1 

  

  1. Αρχιτεκτονικές για μεγάλα δεδομένα (cloud/grid/cluster)

 

J. Leskovec, A. Rajaraman, J. Ullman: Mining of Massive Datasets @ Computer Science Dept., Stanford University, κεφ. 10.1 

  

  1. Κατανεμημένα συστήματα διαχείρισης μεγάλων αρχείων (GFS/HDFS)

1.“Big data: Systems, programming, man- agement” course @ School of Computing Science, University of Glasgow / 2. “Dis- tributed Systems Middleware” course @ Dept. of Computer Science and Technology, Shanghai JT University 

  

  1. Παράλληλοι υπολογισμοί (MapReduse+Pig)

1. J. Leskovec, A. Rajaraman, J. Ull- man: Mining of Massive Datasets @ Computer Science Dept., Stanford Uni- versity, κεφ. 2.2 - 2.3 / 2. Pig Tutorial: http://pig.apache.org/docs/ r0.7.0/tutorial.html 

  

  1. Βασικές έννοιες/αρχιτεκτονικές για κατανεμημένη αναζήτηση πληροφορίας (ιστορική αναδρομή, DHTs, το σύστημα Chord) 

     

1. P. Raftopoulou, Rewiring Peer Connections over Semantic Overlay Networks. Ph.D. Thesis at the Dept. of ECE@TUC, Dec. 2009 / 2. Chord: A Scalable Peer-to-peer Lookup Service for Internet Applications, I. Stoica, R. Moriw, D. Karger, M.F. Kaashoek, and H. Balakrishnan. ACM SIGCOMM Computer Communication Review, 31 (4), 2001 

  

  1. Προχωρημένες έννοιες/αρχιτεκτο- νικές για κατανεμημένη αναζήτηση πληροφορίας (Facebook’s Cassan- dra) 

 

1. “Big data: Systems, programming, man- agement” course @ School of Computing Science, University of Glasgow / 2. “Cassan- dra - A Decentralized Structured Storage Sys- tem”, by A. Lakshman and P. Malik, Facebook / 3. https://www.tutorialspoint. com/cassandra/ 

  

  1. NoSQL βάσεις δεδομένων (Elasticsearch, MongoDB, Neo4j) 

 

 

1.https://www.elastic.co 2.https://www.mongodb.com/ / 3.                     https://neo4j.com

  

  1. Οπτικοποίηση μεγάλων δεδομένων  (Kibana) 

 

https://www.elastic.co/guide/en/kibana/  

  

  1. Χρήση των μεγάλων δεδομένων στην καθημερινότητα – Θέματα ιδιωτικότητας και ηθικής  

1. https://www.edureka.co/blog/ big­data­applications­revolutionizing­various­domains/ / 2. ”Ethics and Privacy in AI and Big Data:
Implementing Responsible Research and
Innovation”, B. C. Stahl and D. Wright, IEEE
Security & Privacy, vol. 16, no. 3, pp. 26-33,
May/June 2018 / 3. ”Ethics for Big Data and
Analytics”, D. E. O’Leary, IEEE Intelligent
Systems, vol. 31, no. 4, pp. 81-84, July-Aug.
2016 

  

  1. Παράλληλοι υπολογισμοί σε γράφους (Pregel) 

“Pregel: a system for large-scale graph processing”, G. Malewicz, M.H. Austern, A.J.C Bik, J.C. Dehnert, I. Horn, N. Leiser, and G. Czajkowski, SIGMOD 2010 

 https://eclass.uop.gr/ courses/DIT173/

  1. Επεξεργασία σε ροές δεδομένων 

J. Leskovec, A. Rajaraman, J. Ullman: Mining of Massive Datasets @ Computer Science Dept., Stanford University, κεφ. 4 

  

  1. Ανακεφαλαίωση – Επίλυση ασκήσεων

Σημειώσεις / διαφάνειες της διδάσκουσας 

  
Τρόποι αξιολόγησης φοιτητή:  
Πρόταση 1 Ερωτήσεις σύντομης απάντησης
Πρόταση 2 Ερωτήσεις πολλαπλής επιλογής
Πρόταση 3 Επίλυση προβλημάτων
Πρόταση 4 Έκθεση/Αναφορά
Πρόταση 5 Προφορική εξέταση
Πρόταση 6 Δημόσια παρουσίαση
Πρόταση 7 Εργαστηριακή εργασία

Προγραμματιστικές εργασίες (ενδέχεται να συνοδεύονται από προσωπική εξέταση) ή/και ασκήσεις κατανόησης της ύλης (είτε για το σπίτι, είτε για επίλυση στην τάξη) ή/και προφορική παρουσίαση, και 3ωρη γραπτή τελική εξέταση. Οι εργασίες, οι ασκήσεις, και η προφορική παρουσίαση θα έχουν συνολικό βάρος 50%, και η τελική γραπτή εξέταση θα προσμετράται στο συνολικό βαθμό με το υπόλοιπο 50%. Τα ποσοστά αυτά μπορεί να διαφοροποιούνται (μέχρι +/-10%) από έτος σε έτος. Για την επιτυχία ενός φοιτητή στο μάθημα απαιτείται προβιβάσιμος βαθμός (πέντε ή μεγαλύτερος) στην τελική γραπτή εξέταση καθώς και στον τελικό βαθμό όπως αυτός προκύπτει από τα εκάστοτε ποσοστά. 

 

ΣΥΝΙΣΤΩΜΕΝΗ-ΒΙΒΛΙΟΓΡΑΦΙΑ

  • A. Rajaraman και J. D. Ullman, Εξόρυξη από μεγάλα σύνολα δεδομένων, Εκδόσεις Νέων Τεχνολογιών, 2014. Κωδικός στον Εύδοξο: 22768468. 

  • G. Coulouris, J. Dollimore, T. Kindberg, και G. Blair, Κατανεμημένα Συστήματα, Εκδόσεις DaVinci, 2018. Κωδικός στον Εύδοξο: 77112824. 

  • A. Velte, T. Velte, και R. Elsenpeter, Cloud computing. Μια πρακτική προσέγγιση, 1η έκδοση, Γκιούρδας, 2010. Κωδικός στον Εύδοξο: 12250.