디지털 시대로 접어들면서 머신러닝을 통한 성격검사라는 새로운 유형의 성격검사방법이 관심을 끌고 있다. 머신러닝을 통한 성격검사는 사람들이 디지털 환경에서 보이는 실제 행동에 대한 데이터를 축적하고 여기에 알고리즘을 적용하여 개인의 성격을 예측한다. 이와 같이 머신러닝을 통한 검사는 사람의 판단이 아닌 데이터를 토대로 계산된 알고리즘을 통해 평가가 이루어지기 때문에 개인적 편견이나 인지적 오류에서 벗어나 정확하고 객관적인 평가를 가능하게 한다는 점이 강조된다. 이러한 이유 때문에 인공지능 면접과 같은 머신러닝 기반 평가도구들은 우리나라를 포함하여 전 세계적으로 빠르게 확산되고 있다. 하지만 이러한 평가도구들이 채용과정에 적용되기 위해 필요한 타당성과 공정성에 대한 과학적 근거는 아직 충분히 확보되지 못한 실정이다. 본 논문은 지금까지 진행되어온 머신러닝 기반 성격검사 연구(특히 소셜 미디어 텍스트 마이닝 방법을 중심으로)들을 분석하고 이를 토대로 향후 연구 방향을 제안한다. 검사의 타당성 및 공정성 확보를 위해서는 알고리즘 간 신뢰도, 검사-재검사 신뢰도, 집단간 타당성 차이 등에 대한 연구를 통해 과학적 기반을 확보해야 하며, 머신러닝 기술이 단순한 성격 예측의 도구가 아니라 인간의 성격에 대한 근본적 이해를 증진시키고 성격이론의 발전에 기여하도록 확장되어야 한다.As we enter the digital age, new methods of personality testing-namely, machine learning-based personality assessment scales-are quickly gaining attraction. Because machine learning-based personality assessments are made based on algorithms that analyze digital footprints of people’s online behaviors, they are supposedly less prone to human biases or cognitive fallacies that are often cited as limitations of traditional personality tests. As a result, machine learning-based assessment tools are becoming increasingly popular in operational settings across the globe with the anticipation that they can effectively overcome the limitations of traditional personality testing. However, the provision of scientific evidence regarding the psychometric soundness and the fairness of machine learning-based assessment tools have lagged behind their use in practice. The current paper provides a brief review of empirical studies that have examined the validity of machine learning-based personality assessment, focusing primarily on social media text mining method. Based on this review, we offer some suggestions about future research directions, particularly regarding the important and immediate need to examine the machine learning-based personality assessment tools’ compliance with the practical and legal standards for use in practice (such as inter-algorithm reliability, test-retest reliability, and differential prediction across demographic groups). Additionally, we emphasize that the goal of machine learning-based personality assessment tools should not be to simply maximize the prediction of personality ratings. Rather, we should explore ways to use this new technology to further develop our fundamental understanding of human personality and to contribute to the development of personality theory.