Transformer در یادگیری ماشین نوعی معماری شبکه عصبی است که برای پردازش دادههای ترتیبی مانند متن، ترجمه زبانها و کد استفاده میشود. ویژگی مهم آن «توجه» یا Attention است که کمک میکند مدل هنگام بررسی هر بخش از متن، به بخشهای مهم دیگر هم نگاه کند و ارتباط بین کلمات را بهتر بفهمد. مدلهایی مثل ChatGPT و BERT بر پایه Transformer ساخته شدهاند.
Transformer
Transformer Architecture · Attention Mechanism · مدل ترانسفورمر · معماری ترانسفورمر · شبکه عصبی توجهمحور