Full Stack Software Developer

2016년 6월 11일 토요일

Amazon Product Advertising API 사용하기

Becoming an Associate

먼저 Associate ID라는 걸 발급받아야 한다. (혹은 Associate tag라고도 한다)
이게 있어야 Product Advertising API 통해서 요청을 날릴 수 있음.

2016년 6월 10일 금요일

step by step

이 세상의 모든 복잡한 일도
step-by-step 하나씩 하나씩 한다면
보통의 지능 이상이라면 모든 일을 이해할 수 있고
마스터할 수 있다.

그런데 보통 step-by-step을 안 하고 2-3스텝 건너 뛰려다
넘어져서 쉽게 회복이 안 되게 된다.

물론 step-by-step은 시간이 오래 걸린다.
그러나, 이것이 만능키라는 것을 알아야 하고,
이렇게 시작해서 나중에 2-3 step씩 건너뛸 수 있다는 것을
알아야 한다.

Hadoop Cluter 구축

계정 만들기

adduser hadoop 으로 하둡용 계정 만들고 진행하는게 좋음.

호스트 정의

/etc/hosts 에 클러스터 머신들의 IP 와 hostname을 정의

예)

10.0.0.1 namenode

10.0.0.2 datanode1

10.0.0.3 datanode2

하둡 다운로드

wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

tar xvzf hadoop-2.6.4.tar.gz
ln -s hadoop-2.6.4 hadoop

SSH public key 생성
namenode 에서
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
aws s3 cp .ssh/id_dsa.pub s3://버킷네임/id_dsa.pu

datanode 에서
aws s3 cp s3://emrtestldkldk/id_dsa.pub id_dsa.pub
cat ./id_dsa.pub >> ~/.ssh/authorized_keys

그러면 namenode에서 ssh hadoop@datanode1 과 같이 하면
패스워드 묻지 않고 로그인이 된다.

vi etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_PID_DIR=/home/hadoop/hadoop-2.6.4/pids

vi etc/hadoop/core-site.xml

 <property>
   <name>fs.default.name</name>
   <value>hdfs://namenode:9000</value>
 </property>
 <property>
    <name>hadoop.tmp.dir</name>
   <value>/home/hadoop/hadoop-data/</value>
 </property>

vi etc/hadoop/hdfs-site.xml

 <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>
 <property>
    <name>dfs.http.address</name>
    <value>namenode:50070</value>
 </property>

vi etc/hadoop/mapred-site.xml

 <property>
   <name>mapred.job.tracker</name>                                                                                                                                                           
   <value>namenode:9001</value>                                                                                                                                                              
 </property>

bin/hdfs namenode -format

./sbin/start-all.sh

하면 전체 노드에 대해 실행이 되고

jps 명령어를 치면 각각 어떤 프로세스가 실행되는지 확인할 수 있다.

http://namenode:50070 으로 접속하여

잘 구축에 되었는지 확인한다.

2016년 5월 6일 금요일

[서평] [IT서적] Spark와 머신 러닝

점수 : 10점 만점에 9.7점

괜찮음.

특히 처음에 입문 식으로 Spark를 쉽게 설명해주는

부분이 좋음.

^^

서평] [IT서적] 머신 러닝 데이터를 이해하는 알고리즘의 예술과 과학

점수 : 10점 만점에 0.1점

역자 및 출판사에게는 죄송하지만 매우 낮은 점수를 줄 수 밖에 없겠다.

번역이 엉망이라는 리뷰를 봤고 논란이 되었는데도

워낙에 공부하고 싶은 분야라서 책을 구매해 버렸다.

서점에서 얼핏 봤을 때는 알록달록 책이 이뻐 보였다...

그리고 두근두근 집에서 한장 한장 읽어보니 건질게 거의 없었다.

기술서 번역은 내용을 이해하고 우리의 언어로 표현을 해줬으면 한다.

내가 책을 평가할 때 중요한 점은

책이 암호서가 아니어야 한다는 것이다.

문장이 읽기 쉽지 않았다. 여기서 다루는 내용 자체가

머신 러닝의 개념적이고 이론적인 부분이라 쉽게 설명이 되어야 하는데

책을 후루룩 살펴봐도 어디 하나 쉽게 개념을 캐치하기 쉽지 않았다.

[서평] [IT서적] Programming in Scala Second Edition

점수 : 10점 만점에 10점

자바 개발자가 읽으면 굉장한 내공 상승이 가능한 책이다.

객체지향, 함수형 프로그래밍의 개념까지 잡히니까 매우 좋다.

스칼라를 쓸 일이 아직 크게 없다고 해도, 스크립트 하나 배운다는 생각으로

가벼운 마음으로 읽어보면 스칼라 언어의 매력에 푹 빠지게 될 것이다.

2003년 2004년쯤에 A book on C가 C언어를 공부하는 대학생들의 주요 교재였다.

내가 지금 대학교수라면 학생들에게 Scala를 가르칠 거 같고, 이 책을 교재로 삼을 거 같다.

[서평] [IT서적] 자바 ORM 표준 JAP 프로그래밍 - 김영한

10점 만점에 9.9점

추천함.

가격이 좀 쎈 것빼고는 단점이 안 보이는 휼륭한 책.

JPA라는 주제를 매우 잘 다루고 있음.

기초 입문부터 심화까지 매우 이해하기 쉽고 깔끔한 문장으로 쓰여짐.

그러나 가격이 너무 비쌈 43,000원 ㅠ.ㅠ

회사 도서 구매 비로 구매를 했는데, 개인적으로 소장은 하고 싶었다.

25,000~30,000원 수준이면 참 좋았을텐데...!

JPA는 개발자에게 참 고마운 프레임워크다.

산만해지고, 지저분해지고, 복잡해지는 개발코드를

객체지향적으로 정리될 수 있게 해준다.

기쁜 마음으로 공부할 수 있는 영역이 바로 JPA이다.

nodejs