ИЕП/К2 2022 - Историја измена

KockaAdmiralac: Objašnjenje

2024-04-20T22:22:46Z

Objašnjenje

← Старија измена		Верзија на датум 21. април 2024. у 00:22
Ред 13:		Ред 13:

	== ''MapReduce'' ==		== ''MapReduce'' ==
	На предмету се од школске 2023/2024. године ради ''Apache Spark'' уместо ''Hadoop'' са ''MapReduce''. Решење овог колоквијума са ''MapReduce'' може се видети на [[Special:Permalink/4291\|верзији странице из маја 2022]].		На предмету се од школске 2023/2024. године ради ''Apache Spark'' уместо ''Hadoop'' са ''MapReduce''. Решење овог колоквијума са ''MapReduce'' може се видети на [[Special:Permalink/4291\|верзији странице из маја 2022]], док су испод дата решења у ''Apache Spark''.

	== <code>Ocene1.java</code> ==		== <code>Ocene1.java</code> ==

KockaAdmiralac: Uklonjeno moje rešenje

2024-04-20T22:22:17Z

Uklonjeno moje rešenje

Прикажи измене

Aleksa: ispravka da lepo filtrira.

2024-04-20T22:16:12Z

ispravka da lepo filtrira.

← Старија измена		Верзија на датум 21. април 2024. у 00:16
Ред 120:		Ред 120:
	//reformatiraj kljuc predmet, vrednost ocena		//reformatiraj kljuc predmet, vrednost ocena
	.mapToPair(s->new Tuple2<String, String>(s._1[0], s._2))		.mapToPair(s->new Tuple2<String, String>(s._1[0], s._2))
			//ni jedna ocena u roku nije zadata ocena
			.filter(s->!(s._2.equals(zadataOcena)))
	//pravimoStringOcena ocena1,ocena2...		//pravimoStringOcena ocena1,ocena2...
	.reduceByKey((a,b)->(a+";"+b))		.reduceByKey((a,b)->(a+";"+b))
Ред 126:		Ред 128:
	//sortiraj po broju ocena		//sortiraj po broju ocena
	.sortByKey(false)		.sortByKey(false)
	~~//isflitriraj da nema ocenu~~
	~~.filter(s->{return !(Arrays.asList(s._2[1].split(";")).contains(zadataOcena));})~~
	//vrati sve, ovako zbog lakse obrade ako nema		//vrati sve, ovako zbog lakse obrade ako nema
	.collect()		.collect()

Aleksa: /* Ocene2.java */

2024-04-19T19:59:53Z

Ocene2.java

← Старија измена		Верзија на датум 19. април 2024. у 21:59
Ред 142:		Ред 142:

	}		}
	>

	</syntaxhighlight>		</syntaxhighlight>

Aleksa: /* Ocene2.java */

2024-04-19T19:58:05Z

Ocene2.java

← Старија измена		Верзија на датум 19. април 2024. у 21:58
Ред 69:		Ред 69:

	== <code>Ocene2.java</code> ==		== <code>Ocene2.java</code> ==
			<syntaxhighlight lang="java">
			package spark_iep;

			import java.util.Arrays;
			import java.util.LinkedList;
			import java.util.List;

			import org.apache.spark.*;
			import org.apache.spark.api.java.*;
			import scala.Tuple2;
			import scala.Tuple5;

			public class Ocene2 {

			//predmet zadat rok R, polagalo najvise studenata, a da nema ocene N

			public static void main(String[] args) {
			SparkConf conf = new SparkConf()
			.setAppName("Ocene1")
			.setMaster("local");
			try(JavaSparkContext sc = new JavaSparkContext(conf);){
			String rok = "jun2020";
			String zadataOcena = "10";
			JavaRDD<String> ulazniPodaci = sc.textFile("studenti_test.txt");
			//obrada ulaznih podataka
			//Tuple2<Integer,String[]>
			List<Tuple2<Integer,String[]>> rezultat = ulazniPodaci.flatMapToPair(
			s->{
			List<Tuple2<String[], String>> lista = new LinkedList<>();
			String[] podaciSvi = s.split("\t");
			//za slucaj da student nema polozene ispite
			if(podaciSvi.length==1) return lista.iterator();
			//niz podataka o ispitima za studenta
			String[] podaciIspiti = podaciSvi[1].split(";");
			for(String p:podaciIspiti) {
			//pod[0] = predmet1,rok1,6
			String[] pod = p.split(",");
			//konvertujemo ocenu u string radi dalje obrade
			//torka spremna za obradu i dodavanje u listu
			Integer ocena = Integer.parseInt(pod[2]);
			//([predmet,rok], ocena)
			Tuple2<String[], String> podatakZaListu = new Tuple2<>(new String[] {pod[0],pod[1]}, pod[2]);
			lista.add(podatakZaListu);
			}
			return lista.iterator();
			}
			)
			//isfiltriraj rok
			.filter(s->s._1[1].equals(rok))
			//reformatiraj kljuc predmet, vrednost ocena
			.mapToPair(s->new Tuple2<String, String>(s._1[0], s._2))
			//pravimoStringOcena ocena1,ocena2...
			.reduceByKey((a,b)->(a+";"+b))
			//reformatiraj da bude ([predmet1,ocena1;ocena2...],brojOcena)
			.mapToPair(s->new Tuple2<Integer, String[]>(s._2.split(";").length, new String[] {s._1, s._2}))
			//sortiraj po broju ocena
			.sortByKey(false)
			//isflitriraj da nema ocenu
			.filter(s->{return !(Arrays.asList(s._2[1].split(";")).contains(zadataOcena));})
			//vrati sve, ovako zbog lakse obrade ako nema
			.collect()
			;
			if(rezultat.size()==0) {
			System.out.println("Nema jbg");
			}else {
			System.out.println("Trazeni predmet je "+rezultat.get(0)._2[0]);
			}


			}
			}

			}
			>

			</syntaxhighlight>

	== Провера ==		== Провера ==

Aleksa: /* Ocene1.java */

2024-04-19T19:08:47Z

Ocene1.java

← Старија измена		Верзија на датум 19. април 2024. у 21:08
Ред 57:		Ред 57:

	for(Tuple2<String, Integer[]> r:rezultat) {		for(Tuple2<String, Integer[]> r:rezultat) {
	System.out.println("Predmet&Rok: "+r._1()+", max:"+r._2()[0]+", min:"+r._2()[1]+", avg:"+~~Math.round~~(r._2()[2]*1.0/r._2()[3]));		System.out.println("Predmet&Rok: "+r._1()+", max:"+r._2()[0]+", min:"+r._2()[1]+", avg:"+(r._2()[2]*1.0/r._2()[3]));

	}		}

Aleksa: /* Ocene1.java */

2024-04-19T19:05:57Z

Ocene1.java

← Старија измена		Верзија на датум 19. април 2024. у 21:05
Ред 13:		Ред 13:

	== <code>Ocene1.java</code> ==		== <code>Ocene1.java</code> ==
			<syntaxhighlight lang="java">
			package spark_iep;

			import java.util.LinkedList;
			import java.util.List;

			import org.apache.spark.*;
			import org.apache.spark.api.java.*;
			import scala.Tuple2;
			import scala.Tuple5;

			public class Ocene1 {

			public static void main(String[] args) {
			SparkConf conf = new SparkConf()
			.setAppName("Ocene1")
			.setMaster("local");
			try(JavaSparkContext sc = new JavaSparkContext(conf);){
			JavaRDD<String> ulazniPodaci = sc.textFile("studenti_test.txt");
			//obrada ulaznih podataka
			List<Tuple2<String,Integer[]>> rezultat = ulazniPodaci.flatMapToPair(
			s->{
			List<Tuple2<String, Integer[]>> lista = new LinkedList<>();
			String[] podaciSvi = s.split("\t");
			//za slucaj da student nema polozene ispite
			if(podaciSvi.length==1) return lista.iterator();
			//niz podataka o ispitima za studenta
			String[] podaciIspiti = podaciSvi[1].split(";");
			for(String p:podaciIspiti) {
			//pod[0] = predmet1,rok1,6
			String[] pod = p.split(",");
			//konvertujemo ocenu u string radi dalje obrade
			Integer ocena = Integer.parseInt(pod[2]);
			//torka spremna za obradu i dodavanje u listu
			Tuple2<String, Integer[]> podatakZaListu = new Tuple2<>(pod[0]+"&"+pod[1], new Integer[] {ocena, ocena, ocena, 1});
			lista.add(podatakZaListu);
			}
			return lista.iterator();
			}
			)
			//prvi clan se koristi za max, drugi za min, treci je suma vrednosti, cetvrti brojac vrednosti
			.reduceByKey((a,b)->new Integer[] {Math.max(a[0], b[0]), Math.min(a[1], b[1]), a[2]+b[2], a[3]+b[3]}).collect();

			for(Tuple2<String, Integer[]> r:rezultat) {
			System.out.println("Predmet&Rok: "+r._1()+", max:"+r._2()[0]+", min:"+r._2()[1]+", avg:"+Math.round(r._2()[2]*1.0/r._2()[3]));

			}

			}
			}

			}

			</syntaxhighlight>

	== <code>Ocene2.java</code> ==		== <code>Ocene2.java</code> ==

Aleksa у 20:29, 18. април 2024.

2024-04-18T20:29:48Z

@@ Ред 15: / Ред 15: @@
 == <code>Ocene2.java</code> ==
 ==<code>Ocene1 & Ocene2 - Hadoop (старо градиво)</code>==
@@ Ред 290: / Ред 300: @@
+}
 </syntaxhighlight>
 == Напомене ==

Aleksa: /* Ocene1 & Ocene2 - Hadoop */

2024-04-18T20:28:25Z

Ocene1 & Ocene2 - Hadoop

← Старија измена		Верзија на датум 18. април 2024. у 22:28
Ред 16:		Ред 16:
	== <code>Ocene2.java</code> ==		== <code>Ocene2.java</code> ==

	==<code>Ocene1 & Ocene2 - Hadoop</code>==		==<code>Ocene1 & Ocene2 - Hadoop (старо градиво)</code>==
	<syntaxhighlight lang="java">		<syntaxhighlight lang="java">
	package rs.etf.iep.mapreduce;		package rs.etf.iep.mapreduce;

Aleksa у 20:28, 18. април 2024.

2024-04-18T20:28:06Z

← Старија измена		Верзија на датум 18. април 2024. у 22:28
Ред 13:		Ред 13:

	== <code>Ocene1.java</code> ==		== <code>Ocene1.java</code> ==

			== <code>Ocene2.java</code> ==

			==<code>Ocene1 & Ocene2 - Hadoop</code>==
	<syntaxhighlight lang="java">		<syntaxhighlight lang="java">
	package rs.etf.iep.mapreduce;		package rs.etf.iep.mapreduce;
Ред 118:		Ред 122:
	</syntaxhighlight>		</syntaxhighlight>

	~~== <code>Ocene2.java</code> ==~~
	<syntaxhighlight lang="java">		<syntaxhighlight lang="java">
	package rs.etf.iep.mapreduce;		package rs.etf.iep.mapreduce;