Hadoop 1-1 ~ 1-3

-
1부에서는 설치와 HDFS의 기본 이론을 위주로 공부합니다.
1-1에서는 하둡에 대한 설명했고 1-2에서는 설치에 대한 설명을 했습니다.
모두 각설하고 1-3인 하둡 분산 파일 시스템에 대해 공부하겠습니다.

우선 HDFS란 무엇인가부터 알아보겠습니다.
HDFS란?
수십 테라바이트 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설게된 파일 시스템입니다.

3.1 HDFS 기초 

HDFS 이전에도 DAS, NAS, SAN 과 같은 대용량 파일 시스템이 있었으며, HDFS 또한 이러한 대용량 파일 시스템과 유사점이 많습니다.

DAS ( Direct - Attached Storage ) : 서버에 직접 연결된 스토리지이며, 외장형 하드디스크로 이해하면 됩니다.

NAS ( Network - Attached Storage ) : 일종의 파일 서버입니다. 별도의 운영체제를 사용하며, 안정적으로 공유할 수 있습니다.

SAN ( Storage Area Network ) : 수십대에서 수백대의 SAN 스토리지를 데이터 서버에 연결해 총괄적으로 관리해주는 네트워크를 의미합니다.

HDFS와 위 3가지 스토리지와의 가장 큰 차이점은 저사양 서버를 이용해 스토리지를 구성할 수 있다는 것입니다. HDFS 에 저장ㄷ하는 데이터는 물리적으로 분산된 서버의 로컬 디스크에 저장돼있지만, 파일의 읽기 및 저장과 같은 제어는 HDFS에서 제공하는 API를 이용해 처리됩니다.

HDFS는 네 가지 목표를 가지고 설계됐습니다.
1. 장애 복구
2. 스트리밍 방식의 데이터 접근
3. 대용량 데이터 저장
4. 데이터 무결성

3.2 HDFS 아키텍처

1. 블록 구조 파일 시스템

HDFS는 블록 구조의 파일 시스템입니다. HDFS에 저장하는 파일은 특정 크기의 블록으로 나눠져 분산된 서버에 저장됩니다. 블록 크기는 기본적으로 64MB로 설정돼 있으며, 변경 가능 합니다.

그렇다면 왜 하필 64MB나 되는 걸까요?

1-1. 디스크 시크 타임의 감소입니다. 디스크의 탐색 시간은 데이터 위치를 찾는 데 걸리는 시간인 시크타임과 원하는 데이터의 섹터에 도달하는 데 걸리는 시간인 서치타임의 합입니다.

1-2. 네임노드가 유지하는 메타데이터의 크기 감소입니다. 네임 노드는 블록 위치, 파일명, 디렉터리 구조, 권한 정보와 같은 메타 데이터정보를 메모리에 저장하고 관리합니다.

1-3. 클라이언트와 네임노드의 통신 감소입니다. 클라이언트가 HDFS에 저장된 파일을 접근할 때 네임노드에서 해당 파일을 구성하는 블록의 위치를 조회합니다.



2. 네임 노드와 데이터 노드

HDFS는 마스티-슬레이브 아키텍쳐입니다. 


네임 노드
HDFS의 마스터 서버인 네임노드는 다음과 같은 기능을 수행합니다.

* 메타데이터 관리
* 데이터노드 모니터링
* 블록 관리
* 클라이언트 요청 접수

데이터 노드
데이터 노드는 클라이언트가 HDFS에 저장하는 파일을 로컬 디스크에 유지합니다. 이때 로컬 디스크에 저장되는 파일은 두 종류로 구성됩니다. 로우 데이터와 메타 데이터가 저장됩니다.

3. HDFS의 파일 저장

HDFS의 파일 저장은 클라이언트가 네임노드에게 파일 저장을 요청하는 단계, 클라이언트가 데이터노드에게 패킷을 전송하는 단계, 클라이언트가 파일 저장을 완료하는 단계로 구성됩니다. 이번에는 파일 저장의 단계별 세부 동작 방식을 알아보겠습니다. 

파일 저장 요청
클라이언트가 HDFS에 파일을 저장하는 경우 파일을 저장하기 위한 스트림을 생성해야 합니다. 


패킷 전송
클라이언트가 네임노드에게서 파일 제어권을 얻게 되면 파일 저장을 진행합니다. 이 때 클라이언트는 파일을 네임노드에게 전송하지 않고 각 데이터 노드에 전송합니다.


파일 닫기
이제 스트림을 닫고 파일 저장을 완료할 차례입니다. 



4.  HDFS의 파일 읽기

이번에는 HDFS에 저장된 파일을 조회하는 과정을 단계별로 알아보겠습니다.

1. 파일 조회 요청 : 클라이언트는 스트림을 요청하고 분산 파일 시스템은 스트림을 생성합니다. 클라이언트 JVM 안에 있는 DFS 클라이언트가 네임 노드에게 블록 위치를 요청하고 반환 받습니다.

2. 블록 조회 : 클라이언트에서 네임노드와 데이터 노드에게 블록 조회를 요청한 뒤 블록 위치 목록을 반환 받습니다. 

3. 입력 스트림 닫기 : 클라이언트가 모든 블록을 읽고 나면 입력 스트림 객체를 닫아야 합니다. 

5. 보조 네임 노드

앞서 네임노드는 메타데이터를 메모리에서 처리한다고 설명했습니다. 하지만 메모리에만 데이터를 유지할 경우 서버가 재부팅될 경우 모든 메타데이터가 유실될 수 있습니다. HDFS는 이러한 문제점을 극복하기 위해 EDITSLOG 와 FSIMAGE라는 두 개의 파일을 생성합니다.

EDITLOGS는 HDFS의 모든 변경 이력을 저장합니다. 
FSIMAGE는 메모리에 저장된 메타데이터의 파일 시스템 이미지를 저장한 파일입니다.
다음과 같은 단계로 위 두 개의 파일을 사용합니다. 

1. 네임노드가 구동되면 로컬에 저장된 FSIMAGE와 EDITLOG를 조회합니다.
2. 메모리에 FSIMAGE를 로딩해 파일 시스템 이미지를 생성합니다.
3. 메모리에 로딩된 파일 시스템 이미지에 EDITLOG에 기록된 변경 이력을 적용합니다.
4. 메모리에 로딩된 파일 시스템이미지를 이용해 FSIMAGE파일을 갱신합니다.
5. EDITLOG를 초기화합니다.
6. 데이터 노드가 전송한 블록리포트를 메모리에 로딩된 파일 시스템 이미지에 적용합니다.

EDITLOG의 크기가 클 경우 문제를 야기할 수 있기 때문에 보조네임노드라는 노드를 제공합니다. 보조네임노드는 주기적으로 네임노드의 FSIMAGE를 갱신하는 역할을 하며, 이러한 작업을 체크포인트라고 합니다. 그래서 흔히 체크 포인팅 서버라고 표현하기도 합니다.



체크 포인팅이 완료되면 네임노드의 FSIMAGE는 최신 내역으로 갱신되며, EDITLOG의 크기도 축소됩니다. 참고로 체크 포인팅은 1시간마다 한 번씩 일어납니다.

하둡을 처음 접한 독자는 보조네임노드를 중요치 않게 생각할 수 있습니다. 또한 백업 서버라고 생각할 수도 있습니다. 앞서 설명했듯이 보조네임노드는 FSIMAGE 파일을 축소시켜주는 역할을 담당할 뿐 백업 서버가 아닙니다. 

보조네임노드가 정상적으로 구동되지 않아도 큰 문제가 없어 보이기 때문에 그냥 넘어갈 수도 있습니다. 하지만 FSIMAGE 파일이 점점 커지고 메모리에 로딩하지 못하는 상황이 되면 문제가 되기 때문에 그 전에 보조네임노드의 정상적인 구동을 확인하시기 바랍니다.


3.5 HDFS 입출력 예제

3.3인 하둡 명령어와 3.4인 클러스터 웹 인터페이스는 넘어가도록 하겠습니다.
여기서 예제를 공부해보기 전에 이 책에서는 자바 프로그래밍에 대한 기초 지식이 있다는 전제하에 예제를 실행합니다. 그래서 저도 자바 실행에서 한참 해멨던 기억이 있습니다.
아래 사이트의 도움이 굉장히 컸습니다. 
하둡 이클립스 환경 설정에 대한 정보를 올려주셨습니다.
http://blog.acronym.co.kr/333

환경 설정을 맞췄다면 아래의 코드를 분석해보겠습니다.

''' java
package wikibooks.hadoop.chapter03;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class SingleFileWriteRead {
  public static void main(String[] args) {
    // 입력 파라미터 확인
    if (args.length != 2) {
      System.err.println("Usage: SingleFileWriteRead ");
      System.exit(2);
    }

    try {
      // 파일 시스템 제어 객체 생성
      Configuration conf = new Configuration();
      FileSystem hdfs = FileSystem.get(conf);

      // 경로 체크
      Path path = new Path(args[0]);
      if (hdfs.exists(path)) {
        hdfs.delete(path, true);
      }

      // 파일 저장
      FSDataOutputStream outStream = hdfs.create(path);
      outStream.writeUTF(args[1]); // 문자열 쓰기
      outStream.close();

      // 파일 출력
      FSDataInputStream inputStream = hdfs.open(path);
      String inputString = inputStream.readUTF();
      inputStream.close();

      System.out.println("Input Data:" + inputString);

    } catch (Exception e) {
      e.printStackTrace();
    }
  }
}
'''

이제 하둡에서 실행하겠습니다. 다음과 같이 jar 옵션을 이용해 빌드한 jar 파일을 실행합니다.

$./bin/hadoop jar hadoop.jar wikibooks.hadoop.chapter03.SingleFileWriteRead input.txt Hello,HDFS

첫 번째 파라미터는 input.txt 이고, 두 번째 파라미터는 Hello,HDFS 이다.
Fs shell의 ls 명령어로 조회하면 input.txt. 파일이 출력됩니다.

아직 하둡의 핵심인 맵리듀스는 시작도 못했습니다. 아직 이론과 간단한 예제만 알아보았습니다. 다음엔 맵리듀스를 공부하겠습니다.

Reference : 시작하세요! 하둡 프로그래밍 -위키북스-

댓글

댓글 쓰기

이 블로그의 인기 게시물

윈도우 설치에서 파티션 설정 오류(NTFS)

-
이미지
요즘 컴퓨터 OS를 갈아엎느라 시간가는 줄 모르게 컴퓨터를 해댔다. 다른 거 할 수도 없었다. 네트워크도 공부해야하는데 하지 못했다. 그래서 내가 포맷하고 OS 설치하면서 겪은 오류들을 적고자 한다. 처음 OS를 쓰다가 USB로 OS를 설치하다 보면 전에 쓰던 OS를 갈아엎는 경우가 있다. 밑의 그림처럼 나올 것이다. 그럼 주 하드디스크를 포맷버튼 누르고 OS를 설치하고 싶을 것이다. 하지만 대부분은 오류가 떠서 안될텐데..되면 말고.. (출처: http://digitaku.com/719) 윈도우를 NTFS로 포맷된 파티션에 설치해야하다는 오류가 뜬다면 (출처: http://caleb1783.tistory.com/362) 1. 우선 설치 시작화면으로 돌아가서 2. shift+f10 으로 cmd를 띄운다. 3. diskpart 명령어를 치고 enter을 누른다. 4. list disk 를 통해 디스크 목록을 본다. 5. 포맷하고 싶은 디스크를 확인한다. 6. 만약 disk0이면 select disk0 을 통해 disk0을 선택한다. 7. 그리고 가장 중요한 clean 명령어를 통해 깨끗히 지운다. 8. exit을 통해 나간다. 9. 다시 컴퓨터를 껐다가 usb 부팅을 통해 OS를 설치한다.
자세한 내용 보기

[exploit writing] 1_스택 기반 오버플로우 (1) First

-
이미지
Corelan가 쓴 Exploit Writing 을 통해 이제 뭔가 보안 공부의 첫 걸음을 시작하려 한다. 목표 윈도우 xp에서 의 취약점을 이용한 스택 오버 플로우 한다. 준비 프로그램 1. kali (가상 머신) 2. windows xp (가상 머신) 3. windows xp 에서 windbg 4. windows xp 에서 펄 스크립트를 사용하기 위한 액티브펄 5. windows xp 에서 펄 스크립트를 사용하기 위한 per dev kit 6. Easy RM to MP3 Converter 과정 1. 우선 xp에서 Easy RM to MP3 Converter를 설치한다. 2. 빈 윈도우 xp에서는 위에 쓴 준비물 중 펄 스크립트 파일을 실행시키기 위한 프로그램들을 설치한다. 3. 메모장에 밑의 코드를 작성하고 test.pl이라는 이름으로 저장한다. my $file = "crash.m3u"; my $junk = "\x41" x 10000; open($FILE, ">$file"); print $FILE "$junk"; close($FILE); print "m3u File Created Successfully \n"; 4. 그럼 밑의 그림처럼 아이콘들이 있을 것이다. 6. test 파일을 실행 시키면 위에서 봤듯이 crash.m3u 라는 파일이 생성될 것이다. (커맨드 라인을 이용해서 test 파일을 실행시키면 m3u File Created Successfully 문구가 나옴) 7. 이제 Easy RM to MP3 Converter를 실행시키고 crash 파일을 LOAD 하면  에러 메시지가 나온다. 이 수행결과는 converter 가 crash 되지 않고, 정상적인 에러 메시지를 출력함을 알 수 있다. 8....
자세한 내용 보기

하둡 설치 오류 정리

-
이미지
길고 긴 설치였다. 이틀동안 하둡 설치하는데 시간을 다 썼다. 이 때까지 오류 나왔던 것들을 다시 한 번 정리하는 의미에서 글을 쓰겠다. 이 게시글은 설치 가이드가 아닌 오류를 정리하는 글이다. 우선 나의 하둡 설치 환경에 대해 설명하자면, VirtualBox 에서 3개의 우분투 16.04버젼을 설치하고 컴퓨터의 이름은 hadoop1-VirtualBox hadoop2 hadoop3으로 하였다.  첫번째 로 만났던 고난은 리눅스의 계정 관리였다. 되도록이면 adduser을 통해 3개의 가상 머신에 hadoop이라는 계정을 만들어주는 걸 강력 추천한다. 그래야 나중에 혼동이 없고 configure 파일 수정할 때 편리하다. hadoop@hadoop1-VirtualMachine $ 위와 같이 써있으면 전자 hadoop은 계정이고 후자는 컴퓨터 이름이다.  두번째 는 ras_pub 이었다. 즉, ssh 연결할 때 비밀번호 없이 공개 키를 주어 접속할 수 있도록하는 방법이다. hadoop@hadoop1에서 hadoop@hadoop2로 ssh 접속을 하기 위해 전자에서 후자로 공개 키를 복사해서 주었을 것이다. 책에서는 이렇게 하면 끝이라고 했지만 후자에서 전자로 또 공개 키를 복사해주는 것이 좋다고 한다.  세번째 는 네트워크 접속 거부이다. 여기서 엄청 애 먹었다. iptables 나 netstat을 통해 이것저것 다 해봤다. 가장 효과적인 것은 gufw 를 apt-get install 해서 방화벽을 재설정했다. 나는 9000, 9001, 50070, 50090 포트를 모두 열어놨고 내부 네트워크에서 오는 접속은 모두 허용했다. 마지막으로 내가 생각하는 해결책은 /etc/hosts 에 있는 파일을 수정하는 것이다. 설치 가이드를 보면 이 파일을 수정하게 되는데 아래와 같이 되어 있었다. 127.0.0.1 localhost 127.0.1.1 hadoop1 두번째 있는 127.0.1.1 ...
자세한 내용 보기