How true is the claim that AI has begun to learn like humans? 🤔
Artificial intelligence, as its name suggests, is intelligence created by humans.
It is therefore natural that its learning mechanisms would evolve by mirroring the way humans learn and think.
Recently, I’ve been looking into how AI learning methods have evolved:
1. Rule-based (1950-1990): No learning involved; humans explicitly defined the rules.
2. Supervised learning (1990-2015): Learning patterns from labeled data.
3. Self-supervised learning (SSL) (2015~): Learning without labels, driven by the data itself.
Interestingly, this progression closely parallels human learning.
We begin life guided by rules encoded in our DNA, our instincts.
We then learn the world by naming and categorizing what we see.
Eventually, we reach a stage where we infer meaning and structure on our own.
Self-supervised learning reflects what many once called self-directed learning.
And just as with humans, this is the most difficult form of learning.
So how does AI manage it?
AI expands its knowledge by applying reasoning to what it has already learned.
Humans are not fundamentally different.
Perhaps the key distinction is that human reasoning carries emotion as an additional dimension.
In both cases, however, thinking itself lies at the core.
Traditionally, SSL has worked by masking parts of the input and reconstructing the missing information from what remains.
While effective for text, this approach revealed clear limitations in visual learning.
When applied to images, models often suffered from collapse.
Representations converged to trivial solutions, producing outputs that were effectively unusable.
In essence, the model attempted to understand the world using only what was visible.
To address this limitation, a new approach emerged, one that explicitly accounts for what is not directly observed.
This led to the Joint-Embedding Predictive Architecture, or JePA, proposed by Yann LeCun.
Following the success of iJEPA in visual learning, this concept is now being extended to text through LeJEPA.
The message is clear.
What we see is never the whole picture.
True understanding requires consideration of what lies beneath the surface.
The same principle applies to our lives.
When we focus only on what is immediately visible, balance is easily lost.
Outcomes often depend on how deeply we account for what cannot be seen.
It is fascinating that AI learning is arriving at the same conclusion.
Once again, it reminds us that the essence remains shared.
As Christmas approaches, 🌲
may your days be filled with precious things,
memories, gratitude, family, and friendship.🙏
They may not always be visible,
but they are what truly matter.
Warm wishes for a Merry Christmas,
ITDA Semiconductor
AI가 사람처럼 배우기 시작했다는 말, 과연 어디까지가 사실일까요?🤔
인공(人工)지능이라는 말 그대로,
결국 인간이 만드는 지능이다 보니 사람의 배움과 사고 방식을 따라갈 수 밖에 없을 거라 생각합니다.
최근 AI가 학습하는 방식의 발전에 대해 살펴보고 있는데요,
1. 규칙 기반 (1950~1990) : 학습은 없고, 사람이 규칙을 직접 작성
2. 지도학습 (1990~2015) : 라벨이 있는 데이터를 보고 패턴을 학습
3. 자기지도학습 SSL (2015~) : 라벨 없이 스스로 학습
이 흐름이
사람이 태어나 DNA에 새겨진 규칙, 즉 본능을 따르다가
세상을 배우고 말을 배울 때, 하나하나 이름으로 익히는 시기를 지나
점점 스스로 세상을 이해하며 배워 가는 우리의 배움의 모습과
크게 다르지 않다는 점이 흥미롭습니다.
SSL(Self-Supervised Learning)이라 불리는 AI의 자기지도학습은
한때 학생들 사이에서 유행했던 자기주도학습과도 닮아있습니다.
스스로 공부하는 것이 가장 어려운건데,,
그 어려운 일을 AI는 어떻게 해내는 걸까요?
AI는 기존에 학습한 정보들에 추론을 더하는 방식으로 스스로 배움을 확장해나갑니다.
사람도 크게 다르지 않죠.
다만 사람은 추론할 때 감정이 더해지는 정도가 다른 것이 아닐까 합니다.
결국 사람이나 AI나 생각하는 것이 핵심인 셈입니다.
지금까지 SSL은 학습한 정보의 일부를 가리고
나머지 정보로 원래의 정보를 추론하여 복원하는 방식으로 진행되었습니다.
기존 SSL 방식의 한계는 명확했습니다.
보이는 정보만으로 세상을 이해하려 했다는 점입니다.
텍스트를 학습할 때는 크게 문제가 되지 않았던 이 방식이,
이미지를 학습하면서 본래의 정보를 하나의 점으로 수렴시켜버리는 이른바 ‘붕괴(collapse)’현상이 발생하게 되었습니다.
쓸 수 없는 답을 내놓는 것인데요,,
보이는 정보만 보고 판단하려다 생긴 한계입니다.
보이는 정보만 고려하여 발생한 문제이니,
보이지 않는 정보까지 강제로 고려하도록 하여 붕괴를 막는 방식이 나왔는데,
바로, 얀르쿤이 제안한 JePA (Joint-Embedding Predictive Architecture) 입니다.
JePA를 이미지 학습에 반영한 iJEPA의 성과를 바탕으로,
최근에는 LeJEPA로 텍스트 학습에도 확장이 되고 있다고 하니,
눈에 보이는 것이 다가 아니라는 것,,
눈에 보이지 않는 것을 함께 고려해야 완전해 진다는 걸 다시한번 생각해보게 됩니다.
우리의 삶에서도 눈에 보이는 것에만 집중하다 보면 쉽게 균형이 무너지게 되는 것 같습니다.
눈에 보이지 않는 것들을 얼마나 고려하는지에 따라 결과가 크게 달라지기도 합니다.
AI 학습도 마찬가지라는 것이 재미있기도 하고, 결국 본질은 통하는 것 같아 신기하기도 합니다.
다음주면 크리스마스입니다.🌲
추억, 감사, 그리움, 반가움, 가족, 친구……
그동안 눈에 잘 띄지 않아,
조금은 뒤로 밀려 있었던 소중한 것들로,,
가득 채우시는 따뜻한 크리스마스 되셨으면 좋겠습니다.🙏
Warm wishes for a Merry Christmas,
ITDA Semiconductor