버추얼 머신 공유 폴더 권한 에러
상황 (2016/08/22) 공유 양방향으로 해놨으나 가끔 안되는 경우가 있어 공유 폴더를 만들고자 했다. vm에 폴더를 공유하기 위해 설정에 들어가 만들었으나 권한 에러 발생. 자동 마운트와 항상 사용 버튼을 누른 상태. 에러 접근 권한 오류 해결 sudo usermod -G vboxsf -a 추가할사용자명 sudo shutdown -r now
글
ssh key error (하둡 & 버추얼 박스)
상황 (2016/8/20) 버추얼박스 머신에서 하둡 실행 중 네임 노드를 다른 머신으로 변경하다가 ssh key에 대한 에러 발생 에러 발생 sign_and_send_pubkey: signing failed: agent refused operation 해결 sudo apt-get autoremove gnome-keyring ssh-add -D sudo reboot
VirtualBox Resize 오류 정리
VirtualBox Resize 오류 정리 흠.. 하둡을 공부하다가 10기가면 충분하겠지 하고 하드디스크를 10기가로 설정했었다. 나의 큰 오산이었다.. 캐글에서 제일 커봐야 2기가짜리 데이터를 보던 내가 12기가짜리 데이터를 만나게 될 줄은 상상도 하지 못했다.. 결국 가상 머신을 resize 해야하는 결정을 했다. 하지만 여기서 4일을 보냈다.. 옛날에 잘만 되던 cmd에서 modifyhd를 쳐도 resize가 안되는 것이었다.. 그 동안 텐서플로우를 열심히 했지만 하둡을 못한 것이 좀 아쉽다.. 이 내용은 구글링 해서 한글로 나온 결과 중엔 찾을 수 없던 내용이다. https://www.virtualbox.org/ticket/9103 영어로 구글링해서 위 사이트를 찾아 답을 겨우 얻을 수 있었다. 우선 문제는 snapshots이었다. 버추얼 박스의 저장소에 연결하는 vdi 뿐만 아니라 snapshots도 vdi라는 것을 오늘 처음 알았다. 한국 유저들은 snapshots들을 잘 사용하지 않아서 해결책이 없었던건지 잘 아시는 분들이 공유를 안해주신건지 궁금할 따름이다 ㅠ 찾아보니 스냅샷은 정말 중요한 사항에 대해 백업해두는 용도라 많은 스냅샷은 용량도 많이 차지하고 지우기도 힘들단다.. ㅠ 너무 많은 스냅샷 때문에 걱정이다.. 여튼 해결책은 그냥 snapshots 모두 resize해주는 것이다. $ cd $HOME/'VirtualBox VMs/vmname' $ for f in *.vdi Snapshots/*.vdi ; do VBoxManage modifyhd "`pwd`/$f" --resize 16000 ; done 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% 0%...10%...20%....
하둡 설치 오류 정리
길고 긴 설치였다. 이틀동안 하둡 설치하는데 시간을 다 썼다. 이 때까지 오류 나왔던 것들을 다시 한 번 정리하는 의미에서 글을 쓰겠다. 이 게시글은 설치 가이드가 아닌 오류를 정리하는 글이다. 우선 나의 하둡 설치 환경에 대해 설명하자면, VirtualBox 에서 3개의 우분투 16.04버젼을 설치하고 컴퓨터의 이름은 hadoop1-VirtualBox hadoop2 hadoop3으로 하였다. 첫번째 로 만났던 고난은 리눅스의 계정 관리였다. 되도록이면 adduser을 통해 3개의 가상 머신에 hadoop이라는 계정을 만들어주는 걸 강력 추천한다. 그래야 나중에 혼동이 없고 configure 파일 수정할 때 편리하다. hadoop@hadoop1-VirtualMachine $ 위와 같이 써있으면 전자 hadoop은 계정이고 후자는 컴퓨터 이름이다. 두번째 는 ras_pub 이었다. 즉, ssh 연결할 때 비밀번호 없이 공개 키를 주어 접속할 수 있도록하는 방법이다. hadoop@hadoop1에서 hadoop@hadoop2로 ssh 접속을 하기 위해 전자에서 후자로 공개 키를 복사해서 주었을 것이다. 책에서는 이렇게 하면 끝이라고 했지만 후자에서 전자로 또 공개 키를 복사해주는 것이 좋다고 한다. 세번째 는 네트워크 접속 거부이다. 여기서 엄청 애 먹었다. iptables 나 netstat을 통해 이것저것 다 해봤다. 가장 효과적인 것은 gufw 를 apt-get install 해서 방화벽을 재설정했다. 나는 9000, 9001, 50070, 50090 포트를 모두 열어놨고 내부 네트워크에서 오는 접속은 모두 허용했다. 마지막으로 내가 생각하는 해결책은 /etc/hosts 에 있는 파일을 수정하는 것이다. 설치 가이드를 보면 이 파일을 수정하게 되는데 아래와 같이 되어 있었다. 127.0.0.1 localhost 127.0.1.1 hadoop1 두번째 있는 127.0.1.1 ...