ИЕП/К2 Јун 2022 - Историја измена

Aleksa: /* Istrazivaci1.java */

2024-04-20T21:58:12Z

Istrazivaci1.java

@@ Ред 14: / Ред 14: @@
 == <code>Istrazivaci1.java</code> ==
 <syntaxhighlight lang="java">
 package main;

Aleksa: /* Провера */

2024-04-20T21:29:05Z

Провера

@@ Ред 435: / Ред 435: @@
 На колоквијуму су биле доступне <code>[[Медиј:IEP K2 Researchers V1.txt|Researchers_V1.txt]]</code> и <code>[[Медиј:IEP K2 Researchers V2.txt|Researchers_V2.txt]]</code> датотеке за тестирање решења.
 [[Категорија:Рокови]]
 [[Категорија:ИЕП]]

Aleksa: /* Провера */

2024-04-20T21:20:05Z

Провера

← Старија измена		Верзија на датум 20. април 2024. у 23:20
Ред 420:		Ред 420:
	<code>		<code>
	Istrazivac: Srbljan a statistika je min: 1 max: 3 a avg je: 2.3333333333333335		Istrazivac: Srbljan a statistika je min: 1 max: 3 a avg je: 2.3333333333333335

	Istrazivac: Zaki a statistika je min: 1 max: 3 a avg je: 2.0		Istrazivac: Zaki a statistika je min: 1 max: 3 a avg je: 2.0

	Istrazivac: Cmiki a statistika je min: 1 max: 3 a avg je: 1.6666666666666667		Istrazivac: Cmiki a statistika je min: 1 max: 3 a avg je: 1.6666666666666667
	</code>		</code>
Ред 428:		Ред 430:
	<code>		<code>
	Max broj je 3 a saradnici su:		Max broj je 3 a saradnici su:

	Istrazivac Zika		Istrazivac Zika
	</code>		</code>

Aleksa: /* Провера */

2024-04-20T21:19:45Z

Провера

← Старија измена		Верзија на датум 20. април 2024. у 23:19
Ред 406:		Ред 406:

	<code>Zika Rad1:Zika,Srbljan,Milicev,Zaki;Rad4:Srbljan,Zika		<code>Zika Rad1:Zika,Srbljan,Milicev,Zaki;Rad4:Srbljan,Zika

	Srbljan Rad1:Zika,Srbljan,Milicev,Zaki;Rad4:Srbljan,Zika;Rad2:Srbljan,Milicev,Zaki,Cmiki		Srbljan Rad1:Zika,Srbljan,Milicev,Zaki;Rad4:Srbljan,Zika;Rad2:Srbljan,Milicev,Zaki,Cmiki

	Cmiki Rad2:Srbljan,Milicev,Zaki,Cmiki;Rad3:Zaki,Cmiki;Rad5:Zaki,Cmiki		Cmiki Rad2:Srbljan,Milicev,Zaki,Cmiki;Rad3:Zaki,Cmiki;Rad5:Zaki,Cmiki

	Zaki Rad1:Zika,Srbljan,Milicev,Zaki;Rad2:Srbljan,Milicev,Zaki,Cmiki;Rad3:Zaki,Cmiki;Rad5:Zaki,Cmiki		Zaki Rad1:Zika,Srbljan,Milicev,Zaki;Rad2:Srbljan,Milicev,Zaki,Cmiki;Rad3:Zaki,Cmiki;Rad5:Zaki,Cmiki

	Milicev Rad1:Zika,Srbljan,Milicev,Zaki;Rad2:Srbljan,Milicev,Zaki,Cmiki		Milicev Rad1:Zika,Srbljan,Milicev,Zaki;Rad2:Srbljan,Milicev,Zaki,Cmiki
	</code>		</code>

Aleksa: /* Провера */

2024-04-20T21:19:19Z

Провера

← Старија измена		Верзија на датум 20. април 2024. у 23:19
Ред 405:		Ред 405:
	Решење је инцијално могуће тестирати на мањем скупу података испод.		Решење је инцијално могуће тестирати на мањем скупу података испод.

	<code>		<code>Zika Rad1:Zika,Srbljan,Milicev,Zaki;Rad4:Srbljan,Zika
	Zika Rad1:Zika,Srbljan,Milicev,Zaki;Rad4:Srbljan,Zika
	Srbljan Rad1:Zika,Srbljan,Milicev,Zaki;Rad4:Srbljan,Zika;Rad2:Srbljan,Milicev,Zaki,Cmiki		Srbljan Rad1:Zika,Srbljan,Milicev,Zaki;Rad4:Srbljan,Zika;Rad2:Srbljan,Milicev,Zaki,Cmiki
	Cmiki Rad2:Srbljan,Milicev,Zaki,Cmiki;Rad3:Zaki,Cmiki;Rad5:Zaki,Cmiki		Cmiki Rad2:Srbljan,Milicev,Zaki,Cmiki;Rad3:Zaki,Cmiki;Rad5:Zaki,Cmiki

Aleksa у 21:19, 20. април 2024.

2024-04-20T21:19:07Z

@@ Ред 403: / Ред 403: @@
 == Провера ==
 На колоквијуму су биле доступне <code>[[Медиј:IEP K2 Researchers V1.txt|Researchers_V1.txt]]</code> и <code>[[Медиј:IEP K2 Researchers V2.txt|Researchers_V2.txt]]</code> датотеке за тестирање решења.
 [[Категорија:Рокови]]
 [[Категорија:ИЕП]]

Aleksa: алтернативно решење, без groupBy

2024-04-20T21:14:28Z

алтернативно решење, без groupBy

← Старија измена		Верзија на датум 20. април 2024. у 23:14
Ред 147:		Ред 147:

	== <code>Istrazivaci2.java</code> ==		== <code>Istrazivaci2.java</code> ==
			<syntaxhighlight lang="java">
			package spark_iep;

			import java.util.Arrays;
			import java.util.HashSet;
			import java.util.Iterator;
			import java.util.LinkedList;
			import java.util.List;

			import org.apache.spark.*;
			import org.apache.spark.api.java.*;
			import scala.Tuple2;
			import scala.Tuple4;
			import scala.Tuple5;

			public class Istrazivaci2 {

			public static void main(String[] args) {
			SparkConf conf = new SparkConf()
			.setAppName("Ocene1")
			.setMaster("local");
			try(JavaSparkContext sc = new JavaSparkContext(conf);){
			JavaRDD<String> ulazniPodaci = sc.textFile("istrazivaci.txt");
			//obrada ulaznih podataka
			String R = "1";
			//primer clana liste - prvi ja autor, drugo skup svih sa kojima je saradjivao
			//(Zika, (Srbljan, Milicev, Zika, Zaki))
			JavaPairRDD<String, HashSet<String>> formatirani = ulazniPodaci.mapToPair(
			s->{
			String[] podaci = s.split("\t");
			if(podaci.length==1) return new Tuple2<>(podaci[0], new HashSet<String>());
			String[] radovi = podaci[1].split(";");
			HashSet<String> kolaboratori = new HashSet<>();
			for(String rad:radovi) {
			String[] razbijeni = rad.split(":");
			if(razbijeni.length==1) continue;
			String[] koautori = razbijeni[1].split(",");
			HashSet<String> setKoAutora = new HashSet<>(Arrays.asList(koautori));
			kolaboratori.addAll(setKoAutora);
			}
			return new Tuple2<>(podaci[0],kolaboratori);
			}
			);

			Tuple2<String, HashSet<String>> sviSaKojimaJeIstrazivaoR = formatirani.filter(s->s._1.equals(R)).first();
			HashSet<String> kolaboratoriR = sviSaKojimaJeIstrazivaoR._2();


			JavaPairRDD<Integer, String> finalni = formatirani
			//da isfiltriramo sve koji su saradjivali sa R
			.filter(s->!(s._2.contains(R)))
			.mapToPair(s->{
			HashSet<String> datiPodaci = s._2;
			//menja datiPodaci tako da sadrzi samo one koje deli sa R
			datiPodaci.retainAll(kolaboratoriR);
			//sada imamo torku ciji je prvi clan broj zajednickih a drugi oznaka tog istrazivaca
			return new Tuple2<Integer, String>(datiPodaci.size(), s._1);

			})
			//sortiramo da bismo dobili one sa najvise, false da bi se sortiralno opadajuce
			.sortByKey(false)
			;

			try {
			//ispisuje sve sa MAX, moglo potencijalno i samo 1
			Tuple2<Integer, String> res = finalni.first();
			List<Tuple2<Integer, String>> finn = finalni.filter(s->s._1().equals(res._1())).collect();
			System.out.println("Max broj je "+res._1()+" a saradnici su:");
			for(Tuple2<Integer, String> r:finn) {
			System.out.println("Istrazivac "+r._2());
			}
			}catch(Exception e) {
			System.out.println("Nema takvog za istrazivaca:"+R);
			}





			}
			}

			}

			</syntaxhighlight>

			'''Решење испод не би било вредновано са максималним бројем поена јер користи groupBy што је скупа операција због непотребног слања веће количине података преко мреже.'''

	<syntaxhighlight lang="java">		<syntaxhighlight lang="java">

Ilija: /* Istrazivaci2.java */

2024-04-20T15:02:13Z

Istrazivaci2.java

← Старија измена		Верзија на датум 20. април 2024. у 17:02
Ред 281:		Ред 281:

	var result = sc.textFile(filename).map(Researcher::new)		var result = sc.textFile(filename).map(Researcher::new)
	.filter(r -> !r.getName().equals(researcher) && !initialCoauthorsSet.contains(r.getName())).map(r -> {		// izbaci researchera i sve povezane sa njegovim "komsijama"
			.filter(r -> !r.getName().equals(researcher) && !initialCoauthorsSet.contains(r.getName()))
			.map(r -> {
	Set<String> coauthorsSet = new HashSet<String>();		Set<String> coauthorsSet = new HashSet<String>();

Ред 290:		Ред 292:

	return new Tuple2<>(r.getName(), coauthorsSet);		return new Tuple2<>(r.getName(), coauthorsSet);
	}).map(pair -> {		})
			// izbaci istrazivaca ako je povezan sa researcherom
			.filter(pair->!pair._2().contains(researcher))
			.map(pair -> {
	String researcherName = pair._1();		String researcherName = pair._1();
	Set<String> coauthorsSet = pair._2();		Set<String> coauthorsSet = pair._2();

Ilija: /* Istrazivaci2.java */

2024-04-20T11:11:12Z

Istrazivaci2.java

← Старија измена		Верзија на датум 20. април 2024. у 13:11
Ред 167:		Ред 167:
	import org.apache.log4j.Level;		import org.apache.log4j.Level;

	public class ~~Istrazivaci1~~ {		public class Istrazivaci2 {

	static class Researcher implements Serializable {		static class Researcher implements Serializable {

Ilija: /* Istrazivaci1.java */

2024-04-20T11:11:00Z

Istrazivaci1.java

← Старија измена		Верзија на датум 20. април 2024. у 13:11
Ред 14:		Ред 14:

	== <code>Istrazivaci1.java</code> ==		== <code>Istrazivaci1.java</code> ==
			<syntaxhighlight lang="java">
			package main;

			import java.io.Serializable;
			import java.util.Arrays;
			import java.util.HashSet;
			import java.util.LinkedList;
			import java.util.List;
			import java.util.Set;

			import org.apache.log4j.Level;
			import org.apache.log4j.LogManager;
			import org.apache.spark.SparkConf;
			import org.apache.spark.api.java.JavaSparkContext;

			import main.Istrazivaci2.Work;
			import scala.Tuple4;

			public class Istrazivaci1 {

			static class Researcher implements Serializable {
			private String name;
			private List<Work> works = new LinkedList<>();

			public Researcher(String line) {
			String[] data = line.split("\t");
			this.name = data[0];

			if (data.length <= 1)
			return;

			for (String workString : data[1].split(";")) {
			this.works.add(new Work(workString));
			}

			}

			@Override
			public String toString() {
			return "Researcher [name=" + name + ", works=" + works + "]";
			}

			public String getName() {
			return name;
			}

			public void setName(String name) {
			this.name = name;
			}

			public List<Work> getWorks() {
			return works;
			}

			public void setWorks(List<Work> works) {
			this.works = works;
			}
			}

			static class Work implements Serializable {

			private String title;
			private List<String> coauthors = new LinkedList<>();

			public Work(String workString) {
			String[] data = workString.split(":");
			if (data.length <= 1)
			return;
			this.title = data[0];

			coauthors.addAll(Arrays.asList(data[1].split(",")));

			}

			public String getTitle() {
			return title;
			}

			public void setTitle(String title) {
			this.title = title;
			}

			public List<String> getCoauthors() {
			return coauthors;
			}

			public void setCoauthors(List<String> coauthors) {
			this.coauthors = coauthors;
			}

			@Override
			public String toString() {
			return "Work [title=" + title + ", coauthors=" + coauthors + "]";
			}

			}

			public static void main(String[] args) {
			SparkConf conf = new SparkConf().setAppName("istrazivaci1").setMaster("local");
			LogManager.getRootLogger().setLevel(Level.WARN); // iskljuci nepotrebne poruke
			try (JavaSparkContext sc = new JavaSparkContext(conf)) {
			zadatak(sc, "resources/Researchers_V1.txt", 3);
			}
			}

			public static void zadatak(JavaSparkContext sc, String filename, int N) {
			var result = sc.textFile(filename).map(line -> new Researcher(line)).filter(researcher -> researcher.works.size() >= N)
			.map(researcher -> {
			Set<String> uniqueResearchers = new HashSet<>();
			for (Work work : researcher.works)
			uniqueResearchers.addAll(work.getCoauthors());

			int cnt = uniqueResearchers.size() - 1; // ne ukljucuj i samog istrazivaca jer se nalazi u koautorima
			return new Tuple4<>(cnt, cnt, cnt, 1);
			})
			.reduce((s1, s2) -> {
			return new Tuple4<Integer, Integer, Integer, Integer>(Math.min(s1._1(), s2._1()),
			Math.max(s1._2(), s2._2()), s1._3() + s2._3(), s1._4() + s2._4());
			});

			int minCoauthors = result._1();
			int maxCoauthors = result._2();
			int sumCoauthors = result._3();
			int countCoauthors = result._4();
			System.out.println("Min: " + minCoauthors+", Max: " +maxCoauthors +", Avg: "+sumCoauthors *1.0/countCoauthors);

			}

			}

			</syntaxhighlight>

	== <code>Istrazivaci2.java</code> ==		== <code>Istrazivaci2.java</code> ==