scala로 spark 개발 중에 나타난 에러입니다.

Caused by: java.io.NotSerializableException [클래스명]

 

소스상에 클래스명 뒤에 extends를 추가하여 해결하였습니다.

ex) class sparkSubmit extends Serializable

반응형

'BigData > Spark' 카테고리의 다른 글

Spark란?  (5) 2024.11.08
spark) spark shell에서 df 값이 달라지는 이슈  (0) 2023.12.28
pyspark) kafka spark structured streaming HA 구성 시 중요사항  (2) 2023.12.18
pyspark) pyspark.sql.utils.StreamingQueryException: assertion failed: Concurrent update to the commit log. Multiple streaming jobs detected for 0  (0) 2023.12.18
spark kafka structured streaming 중 java.lang.IllegalStateException: Set() are gone. Kafka option 'kafka.group.id' has been set on this query, it is not recommended to set this option.  (0) 2023.12.18

+ Recent posts

티스토리툴바