Summary  
This chapter explains how large language models tokenize input, use a limited context window, and perform next-token prediction to generate responses.

General domain of usage  
Natural language generation

大規模言語モデル（**LLM**）は、入力テキストを**トークン**と呼ばれる小さな単位に分解してプロンプトを処理。モデルはこれらのトークンを用いて指示の意味や文脈を理解し、大量のデータから学習したパターンに基づいて応答を生成。

**トークン**は、モデルが個別に処理するテキストの一部（単語や単語の一部など）。

定義

LLMは人間のように「考える」ことはしない。入力プロンプトと学習データに基づき、次に来る単語やフレーズを**予測**。

プロンプトが長すぎる場合、モデルは入力の前半部分を無視することがある。この入力のサイズは**コンテキストウィンドウ**と呼ばれる。

**コンテキストウィンドウ**は、LLMが応答を生成する際に一度に考慮できるトークンの最大数。

#### 例
`Write a poem about the ocean` と尋ねると、モデルは各単語を**トークン**として解釈し、**コンテキスト**を利用して関連する詩を生成する。さらに `Write a four-line poem about the ocean using vivid imagery` のように詳細を追加すると、モデルは追加されたコンテキストを活用して応答を調整する。

コンテキストウィンドウを意識することで、長いプロンプトで重要な情報が失われるのを防ぐことができる。

ワンポイント

LLMにおけるトークンとは何か？

初心者向けの完全理論コースで、大規模言語モデル（LLM）のプロンプトエンジニアリングにおける主要な概念と実践的な戦略を紹介します。プロンプトの構造化、洗練、最適化方法を学び、より良いAI生成結果を得るためのスキルを身につけます。

プロンプトエンジニアリングの基本的な構成要素を探求します。プロンプトとは何か、それが重要である理由、LLMとの効果的なコミュニケーションのための主要な原則を含みます。

AIの挙動を制御し、応答品質を向上させるための実践的なプロンプト技法。

プロンプトを洗練し、評価し、一貫性および実際のユースケースに適した形に改善する方法を学びます。

大規模言語モデルがプロンプトを理解する方法

例