IEP/K2 2022
Drugi kolokvijum 2022. godine održan je 5. maja. Na kolokvijumu su bili dostupni Hadoop dokumentacija, prezentacija sa predavanja, virtuelna mašina korišćena na predavanju i dva tekstualna fajla kao primeri unosa (bez očekivanog ispisa ili primera R i N parametara).
Postavka
Posmatra se evidencija o položenim ispitima. U jednom redu se nalaze identifikator studenta i lista ispitima[sic] koje je položio dati student. Svaki rad[sic] sadrži informacije o položenom ispitu kao što su šifra predmeta, šifra roka, i ocena koju je student dobio. Za potrebe navedene evidencije podaci se čuvaju u tekstualnoj datoteci na Hadoop sistemu. Podaci su dati u obliku:
<Student><TAB>{<Exam>{;<Exam>}}
Gde polje <Student> predstavlja identifikator studenta, a polje <Exam> sadrži šifru predmeta, nakon koga dolazi znak ,, pa šifra roka, nakon koga dolazi znak , i na kraju ocena.
- U programskom jeziku Java sastaviti Map/Reduce posao koji vraća statističke podatke o ispitima u ispitnim rokovima: šifru predmeta, šifru roka, broj studenata koji su polagali dati ispit, minimalnu ocenu, maksimalnu ocenu i prosečnu ocenu. Voditi računa o konkurentnosti.
- U programskom jeziku Java sastaviti lanac od dva Map/Reduce posla koji vraća predmet[1] koji je u zadatom ispitnom R polagalo najviše studenata, a da ni jedan od tih studenata u tom roku nije dobio zadatu ocenu N. Parametri R i N se prosleđuje[sic] računarima koji rade obradu. Voditi računa o konkurentnosti.
Odgovor[sic] se predaju u vidu dva[sic] java datoteka (Ocene1.java i Ocene2.java).
MapReduce
Na predmetu se od školske 2023/2024. godine radi Apache Spark umesto Hadoop sa MapReduce. Rešenje ovog kolokvijuma sa MapReduce može se videti na verziji stranice iz maja 2022.
Ocene1.java
package spark_iep;
import java.util.LinkedList;
import java.util.List;
import org.apache.spark.*;
import org.apache.spark.api.java.*;
import scala.Tuple2;
import scala.Tuple5;
public class Ocene1 {
public static void main(String[] args) {
SparkConf conf = new SparkConf()
.setAppName("Ocene1")
.setMaster("local");
try(JavaSparkContext sc = new JavaSparkContext(conf);){
JavaRDD<String> ulazniPodaci = sc.textFile("studenti_test.txt");
//obrada ulaznih podataka
List<Tuple2<String,Integer[]>> rezultat = ulazniPodaci.flatMapToPair(
s->{
List<Tuple2<String, Integer[]>> lista = new LinkedList<>();
String[] podaciSvi = s.split("\t");
//za slucaj da student nema polozene ispite
if(podaciSvi.length==1) return lista.iterator();
//niz podataka o ispitima za studenta
String[] podaciIspiti = podaciSvi[1].split(";");
for(String p:podaciIspiti) {
//pod[0] = predmet1,rok1,6
String[] pod = p.split(",");
//konvertujemo ocenu u string radi dalje obrade
Integer ocena = Integer.parseInt(pod[2]);
//torka spremna za obradu i dodavanje u listu
Tuple2<String, Integer[]> podatakZaListu = new Tuple2<>(pod[0]+"&"+pod[1], new Integer[] {ocena, ocena, ocena, 1});
lista.add(podatakZaListu);
}
return lista.iterator();
}
)
//prvi clan se koristi za max, drugi za min, treci je suma vrednosti, cetvrti brojac vrednosti
.reduceByKey((a,b)->new Integer[] {Math.max(a[0], b[0]), Math.min(a[1], b[1]), a[2]+b[2], a[3]+b[3]}).collect();
for(Tuple2<String, Integer[]> r:rezultat) {
System.out.println("Predmet&Rok: "+r._1()+", max:"+r._2()[0]+", min:"+r._2()[1]+", avg:"+(r._2()[2]*1.0/r._2()[3]));
}
}
}
}
Ocene2.java
package spark_iep;
import java.util.Arrays;
import java.util.LinkedList;
import java.util.List;
import org.apache.spark.*;
import org.apache.spark.api.java.*;
import scala.Tuple2;
import scala.Tuple5;
public class Ocene2 {
//predmet zadat rok R, polagalo najvise studenata, a da nema ocene N
public static void main(String[] args) {
SparkConf conf = new SparkConf()
.setAppName("Ocene1")
.setMaster("local");
try(JavaSparkContext sc = new JavaSparkContext(conf);){
String rok = "jun2020";
String zadataOcena = "10";
JavaRDD<String> ulazniPodaci = sc.textFile("studenti_test.txt");
//obrada ulaznih podataka
//Tuple2<Integer,String[]>
List<Tuple2<Integer,String[]>> rezultat = ulazniPodaci.flatMapToPair(
s->{
List<Tuple2<String[], String>> lista = new LinkedList<>();
String[] podaciSvi = s.split("\t");
//za slucaj da student nema polozene ispite
if(podaciSvi.length==1) return lista.iterator();
//niz podataka o ispitima za studenta
String[] podaciIspiti = podaciSvi[1].split(";");
for(String p:podaciIspiti) {
//pod[0] = predmet1,rok1,6
String[] pod = p.split(",");
//konvertujemo ocenu u string radi dalje obrade
//torka spremna za obradu i dodavanje u listu
Integer ocena = Integer.parseInt(pod[2]);
//([predmet,rok], ocena)
Tuple2<String[], String> podatakZaListu = new Tuple2<>(new String[] {pod[0],pod[1]}, pod[2]);
lista.add(podatakZaListu);
}
return lista.iterator();
}
)
//isfiltriraj rok
.filter(s->s._1[1].equals(rok))
//reformatiraj kljuc predmet, vrednost ocena
.mapToPair(s->new Tuple2<String, String>(s._1[0], s._2))
//ni jedna ocena u roku nije zadata ocena
.filter(s->!(s._2.equals(zadataOcena)))
//pravimoStringOcena ocena1,ocena2...
.reduceByKey((a,b)->(a+";"+b))
//reformatiraj da bude ([predmet1,ocena1;ocena2...],brojOcena)
.mapToPair(s->new Tuple2<Integer, String[]>(s._2.split(";").length, new String[] {s._1, s._2}))
//sortiraj po broju ocena
.sortByKey(false)
//vrati sve, ovako zbog lakse obrade ako nema
.collect()
;
if(rezultat.size()==0) {
System.out.println("Nema jbg");
}else {
System.out.println("Trazeni predmet je "+rezultat.get(0)._2[0]);
}
}
}
}
Provera
Sledeći sadržaj datoteke koja se prosleđuje kao prvi argument oba programa može se koristiti za testiranje:
pera predmet1,jun2020,9;predmet2,jun2020,10;predmet3,jun2020,9;predmet1,jul2020,10;predmet3,jul2020,10 mika predmet1,jun2020,6;predmet2,jun2020,6;predmet3,jun2020,7;predmet1,jul2020,6 zika predmet1,jun2020,8 jovan
(dodati tabulator na kraj poslednjeg reda ručno ukoliko se ne iskopira).
Na kolokvijumu su bile dostupne Students_V0.txt i Students_V1.txt datoteke za testiranje rešenja.
Napomene
- ↑ Ukoliko ih ima više, vratiti bilo koji. Nije garantovano da ovaj predmet postoji.