원문 보기: Tokens are a big reason today’s generative AI falls short 카일 위글 Kyle Wiggers 생성 AI 모델은 인간과 같은 방식으로 텍스트를 처리하지 않습니다. '토큰' 기반 내부 환경을 이해하면 이상한 행동과 고집스러운 한계를 설명하는 데 도움이 될 수 있다. Gemma와 같은 소형 온디바이스 모델부터 업계를 선도하는 OpenAI의 GPT-4o에 이르기까지 대부분의 모델은 트랜스포머라는 아키텍처를 기반으로 구축된다. 트랜스포머는 텍스트와 다른 유형의 데이터 간의 연관성을 떠올리는 방식 때문에, 적어도 엄청난 양의 연산 없이는 원시 텍스트를 입력하거나 출력할 수 없다. 따라서 실용적이고 기술적인 이유로 오늘날의 트랜스포머 모델은 토큰화라는 프로세스를 통해 토큰이라고 하는 작은 크기의 조각으로 세분화된 텍스트로 작동한다. 토큰은 "fanastic"과 같은 [...]