타이타닉 데이터 분석 2.Decision Trees

-
#rpart 라이브러리를 불러온다

library(rpart)


*rpart란 무엇인가?

iris 데이터에는 Species라는 변수가 있다. 이 변수에는 세 가지 종류의 붓꽃이 있다.  이것을 분류해 보는 작업을 다음과 같이 실행해 본다.

result = rpart(Species ~., data=iris)
result

## 결과물
n= 150
node), split, n, loss, yval, (yprob)
* denotes terminal node
1) root 150 100 setosa (0.33333333 0.33333333 0.33333333)
2) Petal.Length< 2.45 50 0 setosa (1.00000000 0.00000000 0.00000000) *
3) Petal.Length>=2.45 100 50 versicolor (0.00000000 0.50000000 0.50000000)
6) Petal.Width< 1.75 54 5 versicolor (0.00000000 0.90740741 0.09259259) *
7) Petal.Width>=1.75 46 1 virginica (0.00000000 0.02173913 0.97826087) *

## 결과물을 해석하면 다음과 같다.
150개의 데이터에는 세 가지 종류의 붓꽃이 1/3씩 존재한다.
(1) 첫번째 기준 : Petal.Length가 2.45보다 작은가?
이 기준에 따라 150개의 데이터는 50개(왼쪽)와 100개(오른쪽)의 데이터로 나뉜다.
왼쪽의 데이터는 조건을 만족하는 경우, 오른쪽은 조건을 만족하지 않는 경우다. 첫번째 기준에 따라 왼쪽으로 분류된 50개의 데이터는 모두 setosa 이었다. 매우 훌륭한 경우다. 하지만 오른쪽에 100개의 데이터에는 virginica와 versicolor의 두 가지 종류의 붓꽃이 섞여있다.


(2) 두 번째 기준 : Petal.Width가 1.75보다 작은가?
이 기준에 따라 작은 경우는 왼쪽으로 54개의 데이터가, 큰 경우는 오른쪽으로 46개의 데이터로 분류되었다. 왼쪽의 54개 데이터 중에서 49개는 virginica 5개는 versicolor로 되어 있고, 오른쪽의 46개 데이터 중에서 45개는 versicolor 44개, virginica 1개로 구성되어 있다.

 #Survived에 대해 Pclass Sex  Age Sibsp Parch Fare Embarked 변수 별로 정리하여 fit에 넣는다.

 fit <- age="" data="train," embarked="" fare="" method="class" parch="" pclass="" rpart="" sex="" sibsp="" span="" urvived="">

 #fit을 보면

 fit
n= 891 

 node), split, n, loss, yval, (yprob)
      * denotes terminal node

   1) root 891 342 0 (0.61616162 0.38383838)  
    2) Sex=male 577 109 0 (0.81109185 0.18890815)  
      4) Age>=6.5 553  93 0 (0.83182640 0.16817360) *
      5) Age< 6.5 24   8 1 (0.33333333 0.66666667)  
       10) SibSp>=2.5 9   1 0 (0.88888889 0.11111111) *
       11) SibSp< 2.5 15   0 1 (0.00000000 1.00000000) *
    3) Sex=female 314  81 1 (0.25796178 0.74203822)  
      6) Pclass>=2.5 144  72 0 (0.50000000 0.50000000)  
       12) Fare>=23.35 27   3 0 (0.88888889 0.11111111) *
       13) Fare< 23.35 117  48 1 (0.41025641 0.58974359)  
         26) Embarked=S 63  31 0 (0.50793651 0.49206349)  
           52) Fare< 10.825 37  15 0 (0.59459459 0.40540541) *
           53) Fare>=10.825 26  10 1 (0.38461538 0.61538462)  
            106) Fare>=17.6 10   3 0 (0.70000000 0.30000000) *
            107) Fare< 17.6 16   3 1 (0.18750000 0.81250000) *
         27) Embarked=C,Q 54  16 1 (0.29629630 0.70370370) *
      7) Pclass< 2.5 170   9 1 (0.05294118 0.94705882) *

 #좌표를 그려본다
plot(fit)
test(fit)



#뭔가 빈약해보이므로 더 세세하고 한 눈에 들어오게 하기 위해 라이브러리들을 불러오고

library(rattle)
library(rpart.plot)
library(RColorBrewer)


#facnyRpartPlot 을 이용해 fit을 다시 보면

fancyRpartPlot(fit)






#의사결정나무를 통해 확률적으로 예측한다



Prediction <- fit="" p="" predict="" test="" type="class">

#데이터프레임으로 만들고 제출한다



submit <- assengerid="test$PassengerId," data.frame="" survived="Prediction)</p">write.csv(submit, file = "myfirstdtree.csv", row.names = FALSE)












































댓글











댓글 쓰기






























이 블로그의 인기 게시물









윈도우 설치에서 파티션 설정 오류(NTFS)






-














이미지







요즘 컴퓨터 OS를 갈아엎느라 시간가는 줄 모르게 컴퓨터를 해댔다.  다른 거 할 수도 없었다. 네트워크도 공부해야하는데 하지 못했다.  그래서 내가 포맷하고 OS 설치하면서 겪은 오류들을 적고자 한다.   처음 OS를 쓰다가 USB로 OS를 설치하다 보면 전에 쓰던 OS를 갈아엎는 경우가 있다.  밑의 그림처럼 나올 것이다. 그럼 주 하드디스크를 포맷버튼 누르고 OS를 설치하고 싶을 것이다. 하지만 대부분은 오류가 떠서 안될텐데..되면 말고..   (출처: http://digitaku.com/719)   윈도우를 NTFS로 포맷된 파티션에 설치해야하다는 오류가 뜬다면    (출처: http://caleb1783.tistory.com/362)   1. 우선 설치 시작화면으로 돌아가서  2. shift+f10 으로 cmd를 띄운다.  3. diskpart 명령어를 치고 enter을 누른다.  4. list disk 를 통해 디스크 목록을 본다.  5. 포맷하고 싶은 디스크를 확인한다.  6. 만약 disk0이면 select disk0 을 통해 disk0을 선택한다.  7. 그리고 가장 중요한 clean 명령어를 통해 깨끗히 지운다.  8. exit을 통해 나간다.  9. 다시 컴퓨터를 껐다가 usb 부팅을 통해 OS를 설치한다.      








자세한 내용 보기










[exploit writing] 1_스택 기반 오버플로우  (1) First






-














이미지







Corelan가 쓴 Exploit Writing 을 통해   이제 뭔가 보안 공부의 첫 걸음을 시작하려 한다.      목표   윈도우 xp에서 의 취약점을 이용한 스택 오버 플로우 한다.      준비 프로그램   1. kali (가상 머신)   2. windows xp (가상 머신)   3. windows xp 에서 windbg   4. windows xp 에서 펄 스크립트를 사용하기 위한 액티브펄    5. windows xp 에서 펄 스크립트를 사용하기 위한 per dev kit   6. Easy RM to MP3 Converter     과정   1. 우선 xp에서 Easy RM to MP3 Converter를 설치한다.     2. 빈 윈도우 xp에서는 위에 쓴 준비물 중 펄 스크립트 파일을 실행시키기 위한 프로그램들을 설치한다.     3. 메모장에 밑의 코드를 작성하고 test.pl이라는 이름으로 저장한다.    my $file = "crash.m3u";   my $junk = "\x41" x 10000;   open($FILE, ">$file");   print $FILE "$junk";   close($FILE);   print "m3u File Created Successfully \n";      4. 그럼 밑의 그림처럼 아이콘들이 있을 것이다.            6. test 파일을 실행 시키면 위에서 봤듯이 crash.m3u 라는 파일이 생성될 것이다.   (커맨드 라인을 이용해서 test 파일을 실행시키면 m3u File Created Successfully 문구가 나옴)         7. 이제 Easy RM to MP3 Converter를 실행시키고 crash 파일을 LOAD 하면          에러 메시지가 나온다. 이 수행결과는 converter 가 crash 되지 않고, 정상적인 에러 메시지를 출력함을 알 수 있다.     8....








자세한 내용 보기










하둡 설치 오류 정리






-














이미지







길고 긴 설치였다.  이틀동안 하둡 설치하는데 시간을 다 썼다.  이 때까지 오류 나왔던 것들을 다시 한 번 정리하는 의미에서 글을 쓰겠다.  이 게시글은 설치 가이드가 아닌 오류를 정리하는 글이다.   우선 나의 하둡 설치 환경에 대해 설명하자면,  VirtualBox 에서 3개의 우분투 16.04버젼을 설치하고  컴퓨터의 이름은 hadoop1-VirtualBox hadoop2 hadoop3으로 하였다.     첫번째 로 만났던 고난은 리눅스의 계정 관리였다.  되도록이면 adduser을 통해 3개의 가상 머신에 hadoop이라는 계정을 만들어주는 걸 강력 추천한다.  그래야 나중에 혼동이 없고 configure 파일 수정할 때 편리하다.  hadoop@hadoop1-VirtualMachine $  위와 같이 써있으면 전자 hadoop은 계정이고 후자는 컴퓨터 이름이다.    두번째 는 ras_pub 이었다. 즉, ssh 연결할 때 비밀번호 없이 공개 키를 주어  접속할 수 있도록하는 방법이다.  hadoop@hadoop1에서 hadoop@hadoop2로 ssh 접속을 하기 위해  전자에서 후자로 공개 키를 복사해서 주었을 것이다.  책에서는 이렇게 하면 끝이라고 했지만  후자에서 전자로 또 공개 키를 복사해주는 것이 좋다고 한다.    세번째 는 네트워크 접속 거부이다.  여기서 엄청 애 먹었다.  iptables 나 netstat을 통해 이것저것 다 해봤다.  가장 효과적인 것은 gufw 를 apt-get install 해서 방화벽을 재설정했다.  나는 9000, 9001, 50070, 50090 포트를 모두 열어놨고  내부 네트워크에서 오는 접속은 모두 허용했다.  마지막으로 내가 생각하는 해결책은 /etc/hosts 에 있는 파일을 수정하는 것이다.  설치 가이드를 보면 이 파일을 수정하게 되는데 아래와 같이 되어 있었다.  127.0.0.1 localhost  127.0.1.1 hadoop1  두번째 있는 127.0.1.1 ...








자세한 내용 보기