ИЕП/К2 Септембар 2021 - Историја измена

Ilija: /* Ocene2.java */

2024-04-20T17:13:32Z

Ocene2.java

Ilija: /* Ocene1.java */

2024-04-20T15:55:15Z

Ocene1.java

← Старија измена		Верзија на датум 20. април 2024. у 17:55
Ред 111:		Ред 111:
	LogManager.getRootLogger().setLevel(Level.WARN); // iskljuci nepotrebne poruke		LogManager.getRootLogger().setLevel(Level.WARN); // iskljuci nepotrebne poruke
	try (JavaSparkContext sc = new JavaSparkContext(conf)) {		try (JavaSparkContext sc = new JavaSparkContext(conf)) {
	zadatak(sc, "resources/~~Students_V0~~.~~txt~~");		zadatak(sc, "resources/students_test.tsv");
	}		}
	}		}
Ред 120:		Ред 120:
	List<Tuple2<String, int[]>> gradeInfo = new LinkedList<Tuple2<String, int[]>>();		List<Tuple2<String, int[]>> gradeInfo = new LinkedList<Tuple2<String, int[]>>();
	for (Exam exam : student.getExams()) {		for (Exam exam : student.getExams()) {
	int[] gradeArray = new int[5]; // {0,0,0,0,0} - broj 6, broj 7, broj 8 , broj 9, broj 10		int[] gradeArray = new int[6]; // {0,0,0,0,0,0} - Broj polaganja, broj 6, broj 7, broj 8 , broj 9, broj 10
	String examName = exam.getSubject() + " - " + exam.getExamTerm();		String examName = exam.getSubject() + " - " + exam.getExamTerm();
	if (exam.getGrade() <= 5)		if (exam.getGrade() <= 5)
	continue;		continue;
	gradeArray[exam.getGrade() - 5 ~~- 1~~]++;		gradeArray[0] = 1;
			gradeArray[exam.getGrade() - 5]++;
	gradeInfo.add(new Tuple2<>(examName, gradeArray));		gradeInfo.add(new Tuple2<>(examName, gradeArray));
	}		}
	return gradeInfo.iterator();		return gradeInfo.iterator();
	}).reduceByKey((gradeInfo1, gradeInfo2) -> {		}).reduceByKey((gradeInfo1, gradeInfo2) -> {
	int[] resultGrades = new int[5];		int[] resultGrades = new int[6];
	for (int i = 0; i < gradeInfo1.length; i++) {		for (int i = 0; i < gradeInfo1.length; i++) {
	resultGrades[i] = gradeInfo1[i] + gradeInfo2[i];		resultGrades[i] = gradeInfo1[i] + gradeInfo2[i];
Ред 138:		Ред 139:
	for (String examName : result.keySet()) {		for (String examName : result.keySet()) {
	int[] gi = result.get(examName);		int[] gi = result.get(examName);
	System.out.println("Ispit: " + examName + " Br 6:" + gi[0] + " Br 7:" + gi[1] + " Br 8:" + gi[2] + " Br 9:"		System.out.println("Ispit: " + examName + " Br polaganja: "+ gi[0] + " Br 6:" + gi[1] + " Br 7:" + gi[2] + " Br 8:" + gi[3] + " Br 9:"
	+ gi[3] + " Br 10:" + gi[4]);		+ gi[4] + " Br 10:" + gi[5]);

	}		}

Ilija: /* Ocene1.java */

2024-04-20T15:52:11Z

Ocene1.java

Прикажи измене

KockaAdmiralac: Test datoteke

2022-07-09T15:42:04Z

Test datoteke

← Старија измена		Верзија на датум 9. јул 2022. у 17:42
Ред 285:		Ред 285:
	Pera Peric predmet1,rok1,6;predmet2,rok1,10;predmet1,rok2,9		Pera Peric predmet1,rok1,6;predmet2,rok1,10;predmet1,rok2,9
	Marko Markovic predmet1,rok1,8;predmet2,rok1,6;predmet3,rok3,9		Marko Markovic predmet1,rok1,8;predmet2,rok1,6;predmet3,rok3,9
			На колоквијуму су биле доступне <code>[[Медиј:IEP K2 Students V0.txt\|Students_V0.txt]]</code> и <code>[[Медиј:IEP K2 Students V1.txt\|Students_V1.txt]]</code> датотеке за тестирање решења.

	[[Категорија:Рокови]]		[[Категорија:Рокови]]
	[[Категорија:ИЕП]]		[[Категорија:ИЕП]]

KockaAdmiralac: Ispravke nakon današnjeg K2

2022-05-05T19:45:02Z

Ispravke nakon današnjeg K2

Прикажи измене

KockaAdmiralac: Sada zapravo radi

2022-05-03T19:22:19Z

Sada zapravo radi

← Старија измена		Верзија на датум 3. мај 2022. у 21:22
Ред 187:		Ред 187:
	public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {		public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
	double maxAvg = 0;		double maxAvg = 0;
	List<~~Text~~> list = new LinkedList<>();		List<String> list = new LinkedList<>();
	for (Text value : values) {		for (Text value : values) {
	String[] valueSplit = value.toString().split("\t");		String[] valueSplit = value.toString().split("\t");
Ред 196:		Ред 196:
	}		}
	if (avg == maxAvg) {		if (avg == maxAvg) {
	list.add(value);		list.add(value.toString());
	}		}
	}		}
	for (~~Text~~ value : list) {		for (String value : list) {
	context.write(key, value);		context.write(key, new Text(value));
	}		}
	}		}

KockaAdmiralac: Dodeli combiner klase; implementacija dela koji isfiltrira predmete po parametru N; obriši izlazne direktorijume pre ubacivanja u njih

2022-05-03T13:53:46Z

Dodeli combiner klase; implementacija dela koji isfiltrira predmete po parametru N; obriši izlazne direktorijume pre ubacivanja u njih

← Старија измена		Верзија на датум 3. мај 2022. у 15:53
Ред 16:		Ред 16:
	package rs.etf.iep.mapreduce;		package rs.etf.iep.mapreduce;

			import java.io.File;
	import java.io.IOException;		import java.io.IOException;

			import org.apache.commons.io.FileUtils;
	import org.apache.hadoop.fs.Path;		import org.apache.hadoop.fs.Path;
	import org.apache.hadoop.io.LongWritable;		import org.apache.hadoop.io.LongWritable;
Ред 74:		Ред 76:

	public static void main(String[] args) throws Exception {		public static void main(String[] args) throws Exception {
			FileUtils.deleteDirectory(new File(args[1]));
	Job job = Job.getInstance();		Job job = Job.getInstance();
	job.setJarByClass(Ocene1.class);		job.setJarByClass(Ocene1.class);
Ред 86:		Ред 89:
	job.setMapperClass(Map.class);		job.setMapperClass(Map.class);
	job.setReducerClass(Reduce.class);		job.setReducerClass(Reduce.class);
			job.setCombinerClass(Reduce.class);

	FileInputFormat.setInputPaths(job, new Path(args[0]));		FileInputFormat.setInputPaths(job, new Path(args[0]));
Ред 99:		Ред 103:
	package rs.etf.iep.mapreduce;		package rs.etf.iep.mapreduce;

			import java.io.File;
	import java.io.IOException;		import java.io.IOException;
	import java.util.LinkedList;		import java.util.LinkedList;
	import java.util.List;		import java.util.List;

			import org.apache.commons.io.FileUtils;
			import org.apache.hadoop.conf.Configuration;
	import org.apache.hadoop.fs.Path;		import org.apache.hadoop.fs.Path;
	import org.apache.hadoop.io.LongWritable;		import org.apache.hadoop.io.LongWritable;
Ред 115:		Ред 122:

	public class Ocene2 {		public class Ocene2 {
			public static final int DEFAULT_N = 1;

	public static class Map1 extends Mapper<LongWritable, Text, Text, Text> {		public static class Map1 extends Mapper<LongWritable, Text, Text, Text> {
	@Override		@Override
Ред 152:		Ред 161:
	job.setMapperClass(Map1.class);		job.setMapperClass(Map1.class);
	job.setReducerClass(Reduce1.class);		job.setReducerClass(Reduce1.class);
			job.setCombinerClass(Reduce1.class);

	FileInputFormat.setInputPaths(job, new Path(args[0]));		FileInputFormat.setInputPaths(job, new Path(args[0]));
Ред 164:		Ред 174:
	public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {		public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
	String[] splitValue = value.toString().split("\t");		String[] splitValue = value.toString().split("\t");
	context.~~write~~(~~text, new Text~~(~~splitValue[0] +~~ "\t" ~~+ (~~Double.parseDouble(splitValue[1]) / Double.parseDouble(splitValue[2]))));		int N = context.getConfiguration().getInt("N", DEFAULT_N);
			double sum = Double.parseDouble(splitValue[1]);
			double count = Double.parseDouble(splitValue[2]);
			if (count >= N) {
			context.write(text, new Text(splitValue[0] + "\t" + (sum / count)));
			}
	}		}
	}		}
Ред 191:		Ред 206:

	public static void job2(String[] args) throws Exception {		public static void job2(String[] args) throws Exception {
	Job job = Job.getInstance();		Configuration conf = new Configuration();
			conf.setInt("N", Integer.parseInt(args[2]));

			Job job = Job.getInstance(conf, "ocene2-2");
	job.setJarByClass(Ocene2.class);		job.setJarByClass(Ocene2.class);
	~~job.setJobName("ocene2-2");~~

	job.setInputFormatClass(TextInputFormat.class);		job.setInputFormatClass(TextInputFormat.class);
Ред 203:		Ред 220:
	job.setMapperClass(Map2.class);		job.setMapperClass(Map2.class);
	job.setReducerClass(Reduce2.class);		job.setReducerClass(Reduce2.class);
			job.setCombinerClass(Reduce2.class);

	FileInputFormat.setInputPaths(job, new Path("ocene2-temp"));		FileInputFormat.setInputPaths(job, new Path("ocene2-temp"));
Ред 211:		Ред 229:

	public static void main(String[] args) throws Exception {		public static void main(String[] args) throws Exception {
			FileUtils.deleteDirectory(new File(args[1]));
			FileUtils.deleteDirectory(new File("ocene2-temp"));
	job1(args);		job1(args);
	job2(args);		job2(args);

KockaAdmiralac: K2 iz septembra sa rešenjima

2022-04-15T20:33:25Z

K2 iz septembra sa rešenjima

Нова страница

{{tocright}}
'''Други колоквијум у септембарском року 2021. године''' одржан је 17. септембра.

== Поставка ==
Посматра се евиденција о положеним испитима. У једном реду се налазе идентификатор студента и листа испитима<sup>[sic]</sup> које је положио дати студент. Сваки рад<sup>[sic]</sup> садржи информације о положеном испиту као што су шифра предмета, шифра рока, и оцена коју је студент добио. За потребе наведене евиденције подаци се чувају у текстуалној датотеци на ''Hadoop'' систему. Подаци су дати у облику:
<Student><TAB>{<Exam>{;<Exam>}}
Где поље <code><Student></code> представља идентификатор студента, а поље <code><Exam></code> садржи шифру предмета, након кога долази знак <code>,</code>, па шифра рока, након кога долази знак <code>,</code> и на крају оцена.
<div class="abc-list">
# У програмском језику Јава саставити ''Map/Reduce'' посао који враћа статистичке податке о испитима у испитним роковима: шифру предмета, шифру рока, број студената који су полагали дати испит, број студената који су добили оцену 6, број студената који су добили оцену 7, број студената који су добили оцену 8, број студената који су добили оцену 9, број студената који су добили оцену 10. Водити рачуна о конкурентности.
# У програмском језику Јава саставити ланац од два ''Map/Reduce'' посла који враћа списак предмета са највишим просеком (''MAX'') (просек није по року него од свих који су га икада полагали), при чему је сваки од предмета положило барем <math>N</math> студената (<math>N > 0</math>, параметар који се прослеђује рачунарима који раде обраду). Водити рачуна о конкурентности.
</div>
Одговор<sup>[sic]</sup> се предају у виду два<sup>[sic]</sup> јава датотека (<code>Ocene1.java</code> и <code>Ocene2.java</code>).

== <code>Ocene1.java</code> ==
<syntaxhighlight lang="java">
package rs.etf.iep.mapreduce;

import java.io.IOException;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class Ocene1 {
public static class Map extends Mapper<LongWritable, Text, Text, Text> {
@Override
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
for (String exam : value.toString().split("\t")[1].split(";")) {
String[] examSplit = exam.split(",");
String examCode = examSplit[0];
String examName = examSplit[1];
int grade = Integer.parseInt(examSplit[2]);
int[] gradeSplit = new int[5];
gradeSplit[grade - 6] = 1;
StringBuilder sb = new StringBuilder();
sb.append(1);
for (int i = 0; i < 5; ++i) {
sb.append("\t");
sb.append(gradeSplit[i]);
}
context.write(new Text(examCode + "\t" + examName), new Text(sb.toString()));
}
}
}

public static class Reduce extends Reducer<Text, Text, Text, Text> {
@Override
public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
int studentCount = 0;
int[] grades = new int[5];
for (Text value : values) {
String[] valueSplit = value.toString().split("\t");
studentCount += Integer.parseInt(valueSplit[0]);
for (int i = 0; i < 5; ++i) {
grades[i] += Integer.parseInt(valueSplit[i + 1]);
}
}
StringBuilder sb = new StringBuilder();
sb.append(studentCount);
for (int i = 0; i < 5; ++i) {
sb.append("\t");
sb.append(grades[i]);
}
context.write(key, new Text(sb.toString()));
}
}

public static void main(String[] args) throws Exception {
Job job = Job.getInstance();
job.setJarByClass(Ocene1.class);
job.setJobName("ocene1");

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);

job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);

job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);

FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));

job.waitForCompletion(true);
}
}
</syntaxhighlight>

== <code>Ocene2.java</code> ==
<syntaxhighlight lang="java">
package rs.etf.iep.mapreduce;

import java.io.IOException;
import java.util.LinkedList;
import java.util.List;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class Ocene2 {
public static class Map1 extends Mapper<LongWritable, Text, Text, Text> {
@Override
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
for (String exam : value.toString().split("\t")[1].split(";")) {
String[] examSplit = exam.split(",");
context.write(new Text(examSplit[0]), new Text(examSplit[2] + "\t1"));
}
}
}

public static class Reduce1 extends Reducer<Text, Text, Text, Text> {
@Override
public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
int sum = 0;
int count = 0;
for (Text value : values) {
String[] valueSplit = value.toString().split("\t");
sum += Integer.parseInt(valueSplit[0]);
count += Integer.parseInt(valueSplit[1]);
}
context.write(key, new Text(sum + "\t" + count));
}
}

public static void job1(String[] args) throws Exception {
Job job = Job.getInstance();
job.setJarByClass(Ocene2.class);
job.setJobName("ocene2-1");

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);

job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);

job.setMapperClass(Map1.class);
job.setReducerClass(Reduce1.class);

FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path("ocene2-temp"));

job.waitForCompletion(true);
}

public static class Map2 extends Mapper<LongWritable, Text, Text, Text> {
private static Text text = new Text("ocene2-text");
@Override
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String[] splitValue = value.toString().split("\t");
context.write(text, new Text(splitValue[0] + "\t" + (Double.parseDouble(splitValue[1]) / Double.parseDouble(splitValue[2]))));
}
}

public static class Reduce2 extends Reducer<Text, Text, Text, Text> {
@Override
public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
double maxAvg = 0;
List<Text> list = new LinkedList<>();
for (Text value : values) {
String[] valueSplit = value.toString().split("\t");
double avg = Double.parseDouble(valueSplit[1]);
if (avg > maxAvg) {
list.clear();
maxAvg = avg;
}
if (avg == maxAvg) {
list.add(value);
}
}
for (Text value : list) {
context.write(key, value);
}
}
}

public static void job2(String[] args) throws Exception {
Job job = Job.getInstance();
job.setJarByClass(Ocene2.class);
job.setJobName("ocene2-2");

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);

job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);

job.setMapperClass(Map2.class);
job.setReducerClass(Reduce2.class);

FileInputFormat.setInputPaths(job, new Path("ocene2-temp"));
FileOutputFormat.setOutputPath(job, new Path(args[1]));

job.waitForCompletion(true);
}

public static void main(String[] args) throws Exception {
job1(args);
job2(args);
}
}
</syntaxhighlight>

== Провера ==
Следећи садржај датотеке која се прослеђује као први аргумент оба програма може се користити за тестирање:
Pera Peric predmet1,rok1,6;predmet2,rok1,10;predmet1,rok2,9
Marko Markovic predmet1,rok1,8;predmet2,rok1,6;predmet3,rok3,9

[[Категорија:Рокови]]
[[Категорија:ИЕП]]