pyspark) pyspark.sql.utils.StreamingQueryException: assertion failed: Concurrent update to the commit log. Multiple streaming jobs detected for 0

spark structred streaming이 .py형식으로 ha구성을 위해 2개 띄워져있고,

같은 kafka topic을 바라보는 상황에서 checkpoint location이 모두 같은 hdfs경로를 바라볼 때의 에러였습니다.

 

pyspark.sql.utils.StreamingQueryException: assertion failed: Concurrent update to the commit log. Multiple streaming jobs detected for 0

 

-> checkpoint location을 다르게 두어 해결하였습니다.

ex) /usr/test/app_01, /usr/test/app_02