MJay
Spearmint 본문
Spearmint
tistory
Practical Bayesian Optimization of Machine Learning Algorithms
Jasper
Code가 몇개 있음
python 설치
sudo apt-get install python-pip python-dev
sudo apt-get install libcupti-dev
sudo apt-get install python-pip python-dev
apt-get install python-numpy
apt-get install python-scipy
apt-get install python-protobuf
git clone https://github.com/google/protobuf.git
apt-get install protobuf-compiler
./bin/make_probufs
python setup.py install
Dependency
Python 2.7
Numpy
SCipy
Google Protocol buffers
오류
protobuf compiler도 설치
./bin/make_probufs 해도 아무일도 안일어난다.
GP-EI MCMC
pip install protobuf==2.6.1
뭐가 나오기는 한다.
첫번쨰로 되는지 다시 해보자
정말
protobuf 문제였으려나
n this case, as braninhoo is an analytic function we tell the GP hyperparameter sampling routine to not try to estimate noise. This parameter is very important to specify correctly for the optimization to proceed properly. If your algorithm is entirely deterministic (e.g. analytic) then specifying that it is noiseless will speed up the optimization considerably. If your algorithm is not deterministic, as we expect for most machine learning algorithms and indeed most expensive experiments, then you should leave this out or set noiseless=0.
이 경우, braninhoo는 GP hyperparameter 샘플링 루틴에 노이즈를 추정하지 말 것을 지시하는 분석 함수이기 때문에이 경우. 이 매개 변수는 최적화가 올바르게 진행되도록 올바르게 지정하는 데 매우 중요합니다. 알고리즘이 완전히 결정적 (예 : 분석) 인 경우 소음이 없다는 것을 지정하면 최적화 속도가 상당히 빨라집니다. 알고리즘이 결정적이지 않은 경우, 대부분의 기계 학습 알고리즘과 실제로 가장 비싼 실험을 기대할 때, 이것을 남겨 두거나 noiseless = 0으로 설정해야합니다.
코드를 분석해봐야겠음
와 진짜 protobuf 문제였음..
hyperparameter를 정할떄 쓰지 않을까?
runtime때 하는거라고 했나? Cherrypick
마르코프 연쇄 몬테카를로 방법(무작위 행보 몬테 카를로 방법 포함)은 마르코프 연쇄의 구성에 기반한 확률 분포로부터 원하는 분포의 정적 분포를 갖는 표본을 추출하는 알고리즘의 한 부류이다.
size는 뭘까 - the number of variables of this type
어떤 공식을 쓰는거같다.
X가 무엇을 위해 구해지는거지?
2
3 SOURCE="${BASH_SOURCE[0]}"
4
5 # resolve $SOURCE until the file is no longer a symlink
6 while [ -h "$SOURCE" ]; do
7 DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"
8 SOURCE="$(readlink "$SOURCE")"
9
10 # if $SOURCE was a relative symlink, we need to resolve it
11 # relative to the path where the symlink file was located
12 [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE"
13 done
14 DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"
15
16 CMD="python ${DIR}/../spearmint/main.py $@"
17 PYTHONPATH=${DIR}/.. ${CMD}
chooser는 뭘까?
driver는 뭐라고했더라
. The ‘method’ argument specifies the chooser module (acquisition function) to use and ‘method-args’ specifies chooser specific arguments.
bayesian optimization이거 acquisiton function의 최고점을 구하는거였나?
0이 될수도 있겠는데?
식을 최소화 시켜주게 만들어지는거같다.
GPEIOptChooser: The GP EI MCMC algorithm from the paper. Jobs are first sampled densely from a dense grid on the unit hypercube and then the best candidates are optimized ‘fine-tuned’ according to EI.
'Cloud Computing' 카테고리의 다른 글
| Matrix multiplication on GPU using CUDA with CUBLAS, CURAND and Thrust | Solarian Programmer 사본 (0) | 2017.11.20 |
|---|---|
| 분산특론 (0) | 2017.10.18 |
| 더블 버퍼링 (0) | 2017.08.29 |
| 행렬에서의 BFS,DFS (0) | 2017.07.26 |
| 코드보면서 공부해보기 (0) | 2017.05.10 |
