ИЕП/К2 Септембар 2021

Други колоквијум у септембарском року 2021. године одржан је 17. септембра.

Поставка

Посматра се евиденција о положеним испитима. У једном реду се налазе идентификатор студента и листа испитима^[sic] које је положио дати студент. Сваки рад^[sic] садржи информације о положеном испиту као што су шифра предмета, шифра рока, и оцена коју је студент добио. За потребе наведене евиденције подаци се чувају у текстуалној датотеци на Hadoop систему. Подаци су дати у облику:

<Student><TAB>{<Exam>{;<Exam>}}

Где поље <Student> представља идентификатор студента, а поље <Exam> садржи шифру предмета, након кога долази знак ,, па шифра рока, након кога долази знак , и на крају оцена.

1. У програмском језику Јава саставити Map/Reduce посао који враћа статистичке податке о испитима у испитним роковима: шифру предмета, шифру рока, број студената који су полагали дати испит, број студената који су добили оцену 6, број студената који су добили оцену 7, број студената који су добили оцену 8, број студената који су добили оцену 9, број студената који су добили оцену 10. Водити рачуна о конкурентности.
2. У програмском језику Јава саставити ланац од два Map/Reduce посла који враћа списак предмета са највишим просеком (MAX) (просек није по року него од свих који су га икада полагали), при чему је сваки од предмета положило барем $N$ студената ($N > 0$, параметар који се прослеђује рачунарима који раде обраду). Водити рачуна о конкурентности.

Одговор^[sic] се предају у виду два^[sic] јава датотека (Ocene1.java и Ocene2.java).

Ocene1.java

package k2_sept_2021;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;

import scala.Tuple2;

import java.io.Serializable;

import org.apache.log4j.LogManager;
import org.apache.log4j.Level;

import java.util.List;
import java.util.LinkedList;

public class Ocene1 {

	static class Exam implements Serializable {
		String subject;
		String examTerm;
		int grade;

		public Exam(String examString) {
			String[] data = examString.split(",");
			this.subject = data[0];
			this.examTerm = data[1];
			this.grade = Integer.parseInt(data[2]);
		}

		public String getSubject() {
			return subject;
		}

		public void setSubject(String subject) {
			this.subject = subject;
		}

		public String getExamTerm() {
			return examTerm;
		}

		public void setExamTerm(String examTerm) {
			this.examTerm = examTerm;
		}

		public int getGrade() {
			return grade;
		}

		public void setGrade(int grade) {
			this.grade = grade;
		}

		@Override
		public String toString() {
			return "Exam [subject=" + subject + ", examTerm=" + examTerm + ", grade=" + grade + "]";
		}

	}

	static class Student implements Serializable {
		private String name;
		private List<Exam> exams = new LinkedList<>();

		public Student(String line) {
			String[] data = line.split("\t");
			this.name = data[0];
			if (data.length <= 1)
				return;

			for (String examString : data[1].split(";")) {
				exams.add(new Exam(examString));
			}
		}

		public String getName() {
			return name;
		}

		public void setName(String name) {
			this.name = name;
		}

		public List<Exam> getExams() {
			return exams;
		}

		public void setExams(List<Exam> exams) {
			this.exams = exams;
		}

	}

	public static void main(String[] args) {
		SparkConf conf = new SparkConf().setAppName("ocene1").setMaster("local");
		LogManager.getRootLogger().setLevel(Level.WARN); // iskljuci nepotrebne poruke
		try (JavaSparkContext sc = new JavaSparkContext(conf)) {
			zadatak(sc, "resources/students_test.tsv");
		}
	}

	public static void zadatak(JavaSparkContext sc, String filename) {
		var result = sc.textFile(filename).map(Student::new).flatMapToPair(student -> {
			System.out.println(student);
			List<Tuple2<String, int[]>> gradeInfo = new LinkedList<Tuple2<String, int[]>>();
			for (Exam exam : student.getExams()) {
				int[] gradeArray = new int[6]; // {0,0,0,0,0,0} - Broj polaganja, broj 6, broj 7, broj 8 , broj 9, broj 10
				String examName = exam.getSubject() + " - " + exam.getExamTerm();
				if (exam.getGrade() <= 5)
					continue;
				gradeArray[0] = 1;
				gradeArray[exam.getGrade() - 5]++;
				gradeInfo.add(new Tuple2<>(examName, gradeArray));
			}
			return gradeInfo.iterator();
		}).reduceByKey((gradeInfo1, gradeInfo2) -> {
			int[] resultGrades = new int[6];
			for (int i = 0; i < gradeInfo1.length; i++) {
				resultGrades[i] = gradeInfo1[i] + gradeInfo2[i];
			}
			return resultGrades;
		}).collectAsMap();

		for (String examName : result.keySet()) {
			int[] gi = result.get(examName);
			System.out.println("Ispit: " + examName + " Br polaganja: "+ gi[0] + " Br 6:" + gi[1] + " Br 7:" + gi[2] + " Br 8:" + gi[3] + " Br 9:"
					+ gi[4] + " Br 10:" + gi[5]);

		}
	}
}

Ocene2.java

package k2_sept_2021;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;

import k2_sept_2021.Ocene1.Exam;
import scala.Tuple2;

import java.io.Serializable;

import org.apache.log4j.LogManager;
import org.apache.log4j.Level;

import java.util.List;
import java.util.LinkedList;

public class Ocene2 {

	static class Exam implements Serializable {
		String subject;
		String examTerm;
		int grade;

		public Exam(String examString) {
			String[] data = examString.split(",");
			this.subject = data[0];
			this.examTerm = data[1];
			this.grade = Integer.parseInt(data[2]);
		}

		public String getSubject() {
			return subject;
		}

		public void setSubject(String subject) {
			this.subject = subject;
		}

		public String getExamTerm() {
			return examTerm;
		}

		public void setExamTerm(String examTerm) {
			this.examTerm = examTerm;
		}

		public int getGrade() {
			return grade;
		}

		public void setGrade(int grade) {
			this.grade = grade;
		}

		@Override
		public String toString() {
			return "Exam [subject=" + subject + ", examTerm=" + examTerm + ", grade=" + grade + "]";
		}

	}

	static class Student implements Serializable {
		private String name;
		private List<Exam> exams = new LinkedList<>();

		public Student(String line) {
			String[] data = line.split("\t");
			this.name = data[0];
			if (data.length <= 1)
				return;

			for (String examString : data[1].split(";")) {
				exams.add(new Exam(examString));
			}
		}

		public String getName() {
			return name;
		}

		public void setName(String name) {
			this.name = name;
		}

		public List<Exam> getExams() {
			return exams;
		}

		public void setExams(List<Exam> exams) {
			this.exams = exams;
		}

	}

	public static void main(String[] args) {
		SparkConf conf = new SparkConf().setAppName("ocene1").setMaster("local");
		LogManager.getRootLogger().setLevel(Level.WARN); // iskljuci nepotrebne poruke
		try (JavaSparkContext sc = new JavaSparkContext(conf)) {
			zadatak(sc, "resources/Students_V0.txt", 2);
		}
	}

	public static void zadatak(JavaSparkContext sc, String filename, int N) {
		
		var results = 
				sc.textFile(filename)
				.map(Student::new)
				.flatMapToPair(student->{
					List<Tuple2<String, int[]>> gradeInfo = new LinkedList<Tuple2<String, int[]>>();
					for (Exam exam : student.getExams()) {
						int[] info = new int[2]; // count, grade sum
						info[0] = 1;
						info[1] = exam.getGrade();
						
						gradeInfo.add(new Tuple2<>(exam.getSubject(), info));
						
					}
					return gradeInfo.iterator();
				})
				.reduceByKey((info1, info2)->{
					int[] resultInfo = new int[2];
					resultInfo[0] = info1[0] + info2[0];
					resultInfo[1] = info1[1]+ info2[1];
					return resultInfo;
				})
				.filter(subjectPair->subjectPair._2()[0] >= N)
				.map(subjectPair->{
					double averageGrade = subjectPair._2()[1] *1.0 / subjectPair._2()[0];
					return new Tuple2<>(subjectPair._1(), averageGrade);
				})
				.sortBy(avgGradePair->avgGradePair._2(), false, N)
				.collect();
		
		double maxAvg = results.get(0)._2();
		double tolerance = 10e-6;
		for (Tuple2<String, Double> result:results) {
			double avg = result._2();
			if (maxAvg <= avg+tolerance) {
				System.out.println("Predmet: "+result._1() +", prosek: "+avg);
			}
		}
		
		
	}
}

Провера

Следећи садржај датотеке која се прослеђује као први аргумент оба програма може се користити за тестирање:

Pera Peric	predmet1,rok1,6;predmet2,rok1,10;predmet1,rok2,9
Marko Markovic	predmet1,rok1,8;predmet2,rok1,6;predmet3,rok3,9

На колоквијуму су биле доступне Students_V0.txt и Students_V1.txt датотеке за тестирање решења.