[Linux] Pyspark 메모리 부족

pyspark 사용할때 Cannot allocate moemry (errono=12)

org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000f7780000, 39845888, 0) failed; error=’Cannot allocate memory’ (errno=12)

해결방법 - swap 공간 만들기

1. 스왑파일 생성

   touch /swapfile
   sudo chmod 600 /swapfile
   mkswap /swapfile
   

2. 크기 할당

   sudo fallocate -l 2G /swapfile
   

   • fallocate 파일에 공간을 사전 할당
3. 영구 적용

   # vim /etc/fstab에 추가
   /swapfile swap swap defaults 0 0
   

4. 결과확인

   free -m
   

※ 원상복구

1. 스왑 비활성화

   swapoff -v /swapfile
   

2. 파일 제거

   rm -f /swapfile