Hadoop M/R 프로그래밍을 위한 설정

윈도우 환경에서 하둡 M/R 프로그램을 개발/테스트/실행 해보기 위한 방법 포스팅 입니다.

1. 윈도우에서 Cygwin 설치 (설치시 반드시 openSSH 포함)

- 가능하면..풀 패키지로 설치하면..나중에 문제 없음

2. openSSH 서비스 구동

- 인터넷에 찾으면..방법 여러가지 나옴. 간단

- 윈도우 관리자 계정 기본 설정 후 하면, 잘 됨

3. 하둡 배포판 설치 (자바 1.6, hadoop 0.20.2)

- 요건, 시그윈 폴더중에 자리 잡고, 그냥 압축 풀면 됨.

- 실행을 위해서, 환경변수에 패스 잡아 주는 정도 추가.

  : /etc/profile 에 JAVA_HOME 으로 환경 변수 설정, path 에도 추가

    후, source 이용 컴파일

- 단, java 버젼과 확인해서, 문제 없는 버젼을 선택하는걸로..

4. jar 파일을 이용한 M/R 프로그래밍 테스트 (java 버젼)

- 이클립스에서는 하둡 jar, lib 폴더내 jar들만 임포트 시키면 문제 없음

- 개발한 jar 파일은 시그윈에서 hadoop으로 실행 테스트

5. pig 스크립트 테스트

- 피그 설치도 하둡과 같이 다운 받아, 자리 잡고 압축 풀면 됨