#!/bin/bash
########################################################################
# SUN Grid Engine job wrapper
# parallel job on opteron queue
########################################################################
#$ -N LaNiO3
#$ -pe mpich2 17-64
#$ -q wp4m
#$ -j y
#$ -M chuckyee@physics.rutgers.edu
#$ -m n
#$ -v WIEN_DMFT_ROOT,LD_LIBRARY_PATH
########################################################################
# DON'T remove the following line!
source $TMPDIR/sge_init.sh
########################################################################



########################################################################
# WIEN2K
#

function w2k {
    # Create subdirectory with same name as job = input filename = case name
    # and move all files into subdir.
    echo $JOBNAME
    mkdir $JOBNAME
    cp * $JOBNAME
    cd $JOBNAME

    # create .machines file for WIEN2k
    echo '#' > .machines
    for nodes in `cat $TMPDIR/machines`
    do
      echo "1: " "$nodes " >> .machines
    done

    # in case we forgot, clean up old run (-s for no interactive prompt)
    clean_lapw -s

    # run WIEN2k with k-point parallelization
    run -p
    x qtl -p

    # now run one cycle to get non-parallelized files
    clean_lapw -s
    run -i 1

    # move all files back into main dir, and delete subdir
    mv * ..
    cd ..
    rm -r $JOBNAME
}


########################################################################
# DMFT
#

function initdmft {
    export WIEN_DMFT_ROOT=/home/chuckyee/dmft_w2k/bin
    export PATH=$PATH:$WIEN_DMFT_ROOT
    export SCRATCH="."
    export SMPD_OPTION_NO_DYNAMIC_HOSTS=1
    # export PYTHONPATH=/home/chuckyee/dmft_w2k/bin
    

    echo "/opt/mpich2/intel/10.1/bin/mpiexec -env LD_LIBRARY_PATH /opt/intel/mkl/9.0/lib/em64t -port $port -np $NSLOTS -machinefile $TMPDIR/machines" > mpi_prefix.dat

    echo 'phrase=pass' >> /home/chuckyee/.smpd
}

function dmft {
    initdmft

    echo
    echo "RUNNING DMFT"
    echo

    run_dmft.py > dmft.log 2>&1
}


########################################################################
# DMFT OPTICS
#

function dmftopt {
    initdmft

    echo
    echo "RUNNING DMFT OPTICS"
    echo

    /opt/mpich2/intel/10.1/bin/mpiexec -env LD_LIBRARY_PATH /opt/intel/mkl/9.0/lib/em64t -port $port  -np $NSLOTS -machinefile $TMPDIR/machines dmftopt > dmftopt.log 2>&1
}


########################################################################
# MAIN
#

JOBNAME="LaNiO3"   # must be equal to case name

source /opt/intel/mkl/9.0/tools/environment/mklvarsem64t.sh
source /opt/intel/fce/9.1/bin/ifortvars.sh

export WIENROOT=/home/chuckyee/wien2k
export PATH=$PATH:$WIENROOT


# w2k

dmft

# dmftopt