# XLNet

## نظرة عامة

قُدِّم نموذج XLNet في [XLNet: Generalized Autoregressive Pretraining for Language Understanding](https://huggingface.co/papers/1906.08237) من قِبل Zhilin Yang وZihang Dai وYiming Yang وJaime Carbonell وRuslan Salakhutdinov وQuoc V. Le. يُعد XLnet امتداداً لنموذج Transformer-XL، حيث تم تدريبه مسبقاً باستخدام طريقة ذاتية التوليد (autoregressive) لتعلّم السياقات ثنائية الاتجاه عن طريق تعظيم الاحتمال المتوقع على جميع التباديل الممكنة لترتيب تفكيك تسلسل الإدخال.

المستخلص من الورقة البحثية هو كالتالي:

*بفضل القدرة على نمذجة السياقات ثنائية الاتجاه، تحقق أساليب التدريب المسبق القائمة على الترميز التلقائي لإزالة الضوضاء، مثل BERT، أداءً أفضل من أساليب التدريب المسبق القائمة على نمذجة اللغة التلقائية. ومع ذلك، فإن اعتماد BERT على إتلاف المدخلات عبر الأقنعة يؤدي إلى إهماله للعلاقة بين المواضع المقنّعة، مما يسبب فجوة بين مرحلتي التدريب المسبق والتدريب الدقيق. في ضوء هذه المزايا والعيوب، نقترح XLNet، وهو أسلوب تدريب مسبق تلقائي عام (1) يتيح تعلّم السياقات ثنائية الاتجاه عن طريق تعظيم الاحتمال المتوقع عبر جميع التباديل لترتيب التحليل، و(2) يتغلب على قيود BERT بفضل صياغته التلقائية. علاوة على ذلك، يدمج XLNet أفكارًا من Transformer-XL، وهو نموذج تلقائي متقدم، في مرحلة التدريب المسبق. تجريبيًا، في ظل إعدادات تجارب قابلة للمقارنة، يتفوق XLNet على BERT في 20 مهمة، وغالبًا بفارق كبير، بما في ذلك الإجابة على الأسئلة، والاستدلال اللغوي الطبيعي، وتحليل المشاعر، وترتيب المستندات.*

تمت مساهمة هذا النموذج من قِبل [thomwolf](https://huggingface.co/thomwolf). يمكن العثور على الكود الأصلي [هنا](https://github.com/zihangdai/xlnet/).

## نصائح للاستخدام

- يمكن التحكم في نمط الانتباه المحدد أثناء التدريب والاختبار باستخدام مدخل `perm_mask`.
- نظرًا إلى صعوبة تدريب نموذج ذاتي التوليد بالكامل عبر ترتيبات تجزئة مختلفة، يتم تدريب XLNet مسبقًا باستخدام مجموعة فرعية فقط من رموز الإخراج كأهداف، يتم اختيارها عبر مدخل `target_mapping`.
- لاستخدام XLNet في فك الترميز التسلسلي (أي ليس في إعداد ثنائي الاتجاه بالكامل)، استخدم مدخلات `perm_mask` و`target_mapping` للتحكم في نطاق الانتباه والمخرجات
- يُعدّ XLNet من النماذج القليلة التي لا يوجد لها حدّ أقصى لطول التسلسل.
- لا يُعد XLNet نموذجًا ذاتي التوليد تقليديًا، بل يستخدم استراتيجية تدريب مبنية على ذلك. إذ يُعيد ترتيب الرموز في الجملة، ثم يتيح للنموذج استخدام الرموز الأخيرة n للتنبؤ بالرمز n+1. وبما أن كل هذا يتم بواسطة قناع، فإن الجملة تُدخل فعليًا إلى النموذج بالترتيب الصحيح، لكن بدلًا من إخفاء الرموز الأولى n من أجل n+1، يستخدم XLNet قناعًا يخفي الرموز السابقة في ترتيب معين من 1 إلى طول التسلسل.
- يستخدم XLNet أيضًا آلية التكرار نفسها التي يستخدمها Transformer-XL لبناء الاعتماديات طويلة المدى.

## الموارد

- [دليل مهمة تصنيف النصوص](../tasks/sequence_classification)
- [دليل مهمة تصنيف الرموز](../tasks/token_classification)
- [دليل مهمة الإجابة عن الأسئلة](../tasks/question_answering)
- [دليل مهمة نمذجة اللغة السببية](../tasks/language_modeling)
- [دليل مهمة الاختيار من متعدد](../tasks/multiple_choice)

## XLNetConfig[[transformers.XLNetConfig]]

#### transformers.XLNetConfig[[transformers.XLNetConfig]]

```python
transformers.XLNetConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 32000, d_model: int = 1024, n_layer: int = 24, n_head: int = 16, d_inner: int = 4096, d_head: int | None = None, ff_activation: str = 'gelu', attn_type: str = 'bi', initializer_range: float = 0.02, layer_norm_eps: float = 1e-12, dropout: float | int = 0.1, mem_len: int | None = 512, reuse_len: int | None = None, use_mems_eval: bool = True, use_mems_train: bool = False, bi_data: bool = False, clamp_len: int = -1, same_length: bool = False, summary_type: str = 'last', summary_use_proj: bool = True, summary_activation: str = 'tanh', summary_last_dropout: float | int = 0.1, start_n_top: int = 5, end_n_top: int = 5, pad_token_id: int | None = 5, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, tie_word_embeddings: bool = True)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/configuration_xlnet.py#L28)

**المعاملات:**

vocab_size (`int`، *اختياري*، القيمة الافتراضية `32000`) : حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة `input_ids`.

d_model (`int`, *اختياري*, القيمة الافتراضية هي `1024`) : حجم طبقات المُرمِّز وطبقة المُجمِّع.

n_layer (`int`، *اختياري*، القيمة الافتراضية `24`) : عدد الطبقات المخفية في مُفكِّك Transformer.

n_head (`int`، *اختياري*، القيمة الافتراضية `16`) : عدد رؤوس الانتباه في كل طبقة انتباه داخل مُفكِّك Transformer.

d_inner (`int`، *اختياري*، القيمة الافتراضية `4096`) : بُعد تمثيلات MLP.

d_head (`int`، *اختياري*) : بُعد رأس الانتباه. إذا كانت القيمة None، فسيتم افتراض hidden_size // num_attention_heads

ff_activation (`str` أو `Callable`، *اختياري*، القيمة الافتراضية هي `"gelu"`) : دالة التنشيط غير الخطية (دالة أو نص). إذا كان نصًا، فالدوال المدعومة هي `"gelu"` و`"relu"` و`"silu"` و`"gelu_new"`.

attn_type (`str`، *اختياري*، القيمة الافتراضية `"bi"`) : نوع الانتباه الذي يستخدمه النموذج. اضبط `"bi"` لـ XLNet، و`"uni"` لـ Transformer-XL.

initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.02`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.

layer_norm_eps (`float`، *اختياري*، القيمة الافتراضية `1e-12`) : قيمة الإيبسلون المستخدمة في طبقات تطبيع الطبقة.

dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية هي `0.1`) : النسبة لجميع طبقات dropout.

mem_len (`int` أو `None`، *اختياري*) : عدد الرموز التي سيتم تخزينها مؤقتًا. لن يتم إعادة حساب أزواج المفتاح/القيمة التي تم حسابها مسبقًا في تمريرة سابقة. راجع [البدء السريع](https://huggingface.co/transformers/quickstart.html#using-the-past) لمزيد من المعلومات.

reuse_len (`int`، *اختياري*) : عدد الرموز في الدفعة الحالية التي سيتم تخزينها مؤقتًا وإعادة استخدامها في المستقبل.

use_mems_eval (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب على النموذج استخدام آلية الذاكرة المتكررة في وضع التقييم أم لا.

use_mems_train (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب على النموذج استخدام آلية الذاكرة المتكررة في وضع التدريب. في حالة التدريب المسبق، يُوصى بإعداد `use_mems_train` إلى `True`. وفي حالة الضبط الدقيق، يُوصى بإعداد `use_mems_train` إلى `False` كما هو موضح [هنا](https://github.com/zihangdai/xlnet/issues/41#issuecomment-505102587). إذا تم ضبط `use_mems_train` على `True`، فيجب التأكد من معالجة دفعات التدريب مسبقاً بشكل صحيح، *على سبيل المثال* `batch_1 = [[This line is], [This is the]]` و `batch_2 = [[ the first line], [ second line]]` وأن تكون جميع الدفعات متساوية الحجم.

bi_data (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم استخدام خط أنابيب إدخال ثنائي الاتجاه أم لا. عادةً ما تُضبط إلى `True` أثناء التدريب المسبق وإلى `False` أثناء الضبط الدقيق.

clamp_len (`int`، *اختياري*، القيمة الافتراضية -1) : تحديد جميع المسافات النسبية الأكبر من clamp_len. تعيين هذا السمة إلى -1 يعني عدم وجود تحديد.

same_length (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم استخدام نفس طول الانتباه لكل رمز.

summary_type (`str`، *اختياري*، القيمة الافتراضية هي "last") : الحُجّة المستخدمة عند تنفيذ ملخّص التسلسل. تُستخدم في نماذج تصنيف التسلسل ونماذج الاختيار المتعدد. يجب أن تكون إحدى الخيارات التالية: - `"last"`: أخذ حالة الخفاء للرمز الأخير (مثل XLNet). - `"first"`: أخذ حالة الخفاء للرمز الأول (مثل BERT). - `"mean"`: أخذ متوسط حالات الخفاء لجميع الرموز. - `"cls_index"`: تقديم مصفوفة (Tensor) لموضع رمز التصنيف (مثل GPT/GPT-2). - `"attn"`: غير مُنفَّذ حاليًا، استخدم الانتباه متعدد الرؤوس.

summary_use_proj (`bool`، *اختياري*، القيمة الافتراضية `True`) : حُجّة تُستخدم عند تنفيذ ملخص التسلسل. تُستخدم في نماذج تصنيف التسلسل ونماذج الاختيار المتعدد. تحدد ما إذا كان يجب إضافة إسقاط بعد استخراج المتجه.

summary_activation (`str`، *اختياري*) : الحجة المستخدمة عند تنفيذ ملخص التسلسل. تُستخدم في نماذج تصنيف التسلسل ونماذج الاختيار المتعدد. مرّر `"tanh"` لتفعيل tanh في المخرجات، وأي قيمة أخرى لن تؤدي إلى أي تفعيل.

summary_last_dropout (`float`، *اختياري*، القيمة الافتراضية 0.1) : يُستخدم في نماذج تصنيف التسلسل ونماذج الاختيار المتعدد. نسبة الإسقاط (dropout) المستخدمة بعد الإسقاط (projection) والتفعيل (activation).

start_n_top (`int`، *اختياري*، القيمة الافتراضية 5) : يُستخدم في سكربت تقييم SQuAD.

end_n_top (`int`، *اختياري*، القيمة الافتراضية 5) : يُستخدم في سكربت تقييم SQuAD.

pad_token_id (`int`، *اختياري*، القيمة الافتراضية `5`) : معرّف الرمز المستخدم للتعبئة في المفردات.

bos_token_id (`int`، *اختياري*، القيمة الافتراضية `1`) : معرّف الرمز المستخدم لبدء البث في المفردات.

eos_token_id (`Union[int, list[int]]`، *اختياري*، القيمة الافتراضية `2`) : معرّف الرمز المستخدم لنهاية البث في المفردات.

tie_word_embeddings (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب ربط ترميزات الأوزان وفقاً لخريطة `tied_weights_keys` الخاصة بالنموذج.

هذه فئة الإعدادات المخزنة لإعدادات نموذج XLNetModel. تُستخدم لاستحداث نموذج Xlnet وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ [xlnet/xlnet-large-cased](https://huggingface.co/xlnet/xlnet-large-cased)

ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات.

أمثلة:

```python
>>> from transformers import XLNetConfig, XLNetModel

>>> # Initializing a XLNet configuration
>>> configuration = XLNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XLNetModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## XLNetTokenizer[[transformers.XLNetTokenizer]]

#### transformers.XLNetTokenizer[[transformers.XLNetTokenizer]]

```python
transformers.XLNetTokenizer(vocab: str | list[tuple[str, float]] | None = None, unk_id: int = 0, do_lower_case = False, remove_space = True, keep_accents = False, bos_token = '<s>', eos_token = '</s>', unk_token = '<unk>', sep_token = '<sep>', pad_token = '<pad>', cls_token = '<cls>', mask_token = '<mask>', _spm_precompiled_charsmap = None, additional_special_tokens = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/tokenization_xlnet.py#L38)

**المعاملات:**

vocab (`list of tuples`, *اختياري*) : قائمة من أزواج (رمز، درجة) لنموذج Unigram. إذا لم يُقدَّم، تُستخدم قائمة فارغة.

unk_id (`int`، *اختياري*، القيمة الافتراضية 0) : المعرّف الخاص بالرمز المجهول في المفردات.

do_lower_case (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب تحويل المدخلات إلى أحرف صغيرة عند الترميز.

remove_space (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب إزالة النص عند الترميز (إزالة المسافات الزائدة قبل السلسلة وبعدها).

keep_accents (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب الحفاظ على علامات التشكيل عند تقسيم النص إلى رموز.

bos_token (`str`، *اختياري*، القيمة الافتراضية `"<s>"`) : رمز بداية التسلسل الذي تم استخدامه أثناء التدريب المسبق. يمكن استخدامه كرمز مصنف التسلسل. عند بناء تسلسل باستخدام الرموز الخاصة، هذا ليس الرمز المستخدم لبداية التسلسل. الرمز المستخدم هو `cls_token`.

eos_token (`str`، *اختياري*، القيمة الافتراضية `"</s>"`) : رمز نهاية التسلسل. عند بناء تسلسل باستخدام الرموز الخاصة، هذا ليس الرمز المستخدم لنهاية التسلسل. الرمز المستخدم هو `sep_token`.

unk_token (`str`، *اختياري*، القيمة الافتراضية `"<unk>"`) : رمز المجهول. الرمز غير الموجود في قاموس الكلمات لا يمكن تحويله إلى معرّف، لذا يُعيَّن هذا الرمز بدلاً منه.

sep_token (`str`، *اختياري*، القيمة الافتراضية `"<sep>"`) : رمز الفاصل، الذي يُستخدم عند بناء تسلسل من عدة تسلسلات، على سبيل المثال تسلسلان لتصنيف التسلسلات أو نص وسؤال للإجابة على الأسئلة. كما يُستخدم كآخر رمز في تسلسل مبني باستخدام الرموز الخاصة.

pad_token (`str`، *اختياري*، القيمة الافتراضية هي `"<pad>"`) : الرمز المستخدم للتعبئة، على سبيل المثال عند تجميع تسلسلات ذات أطوال مختلفة.

cls_token (`str`، *اختياري*، القيمة الافتراضية `"<cls>"`) : رمز التصنيف الذي يُستخدم عند إجراء تصنيف التسلسل (تصنيف التسلسل بأكمله بدلاً من التصنيف لكل رمز على حدة). وهو أول رمز في التسلسل عند بناؤه باستخدام الرموز الخاصة.

mask_token (`str`، *اختياري*، القيمة الافتراضية `"<mask>"`) : الرمز المستخدم لإخفاء القيم. هذا هو الرمز المستخدم عند تدريب هذا النموذج باستخدام نمذجة اللغة المقنّعة. وهو الرمز الذي سيحاول النموذج التنبؤ به.

additional_special_tokens (`list[str]`، *اختياري*، الافتراضي `["<eop>", "<eod>"]`) : رموز خاصة إضافية يستخدمها مُجزِّئ النص.

أنشئ مُجزِّئ XLNet (مدعوم بمكتبة *tokenizers* من HuggingFace). مبني على [Unigram](https://huggingface.co/docs/tokenizers/python/latest/components.html?highlight=unigram#models).

يرث هذا المُجزِّئ من [TokenizersBackend](/docs/transformers/v5.23.0/ar/main_classes/tokenizer#transformers.TokenizersBackend) التي تحتوي على معظم الدوال الرئيسية. ينبغي على المستخدمين الرجوع إلى هذه الفئة الأصلية لمزيد من المعلومات حول تلك الدوال.

#### get_special_tokens_mask[[transformers.XLNetTokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1337)

**المعاملات:**

token_ids_0 : قائمة معرّفات (IDs) للتسلسل (الذي قد يكون منسّقًا بالفعل).

token_ids_1 : غير مستخدم عندما يكون `already_has_special_tokens=True`. يجب أن يكون None في هذه الحالة.

already_has_special_tokens : ما إذا كانت التسلسلة منسّقة مسبقًا باستخدام الرموز الخاصة.

**يعيد:** قائمة من الأعداد الصحيحة في المدى [0, 1]

1 لرمز خاص، 0 لرمز التسلسل.

استرجاع معرّفات التسلسلات من قائمة الرموز التي لم تُضف إليها أي رموز خاصة.

للمُرمِّزات السريعة، تستدعي مُجمِّعات البيانات هذه الدالة مع `already_has_special_tokens=True` لبناء قناع فوق تسلسل منسّق مسبقًا. في هذه الحالة، نحسب القناع عن طريق التحقق من العضوية في `all_special_ids`.

#### save_vocabulary[[transformers.XLNetTokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_tokenizers.py#L547)

## المخرجات الخاصة بـ XLNet[[transformers.models.xlnet.modeling_xlnet.XLNetModelOutput]]

#### transformers.models.xlnet.modeling_xlnet.XLNetModelOutput[[transformers.models.xlnet.modeling_xlnet.XLNetModelOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetModelOutput(last_hidden_state: Tensor, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L659)

**المعاملات:**

last_hidden_state (`torch.Tensor` من الشكل `(batch_size, num_predict, hidden_size)`) : تسلسل من حالات الإخفاء في الطبقة الأخيرة من النموذج. `num_predict` يتوافق مع `target_mapping.shape[1]`. إذا كان `target_mapping` هو `None`، فإن `num_predict` يتوافق مع `sequence_length`.

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا. يمكن استخدامه (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.

hidden_states (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) : مجموعة من `torch.Tensor` (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات مخفية للنموذج عند إخراج كل طبقة بالإضافة إلى إخراجات التضمين الأولية الاختيارية.

attentions (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) : مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق softmax على الانتباه، وتُستخدم لحساب المتوسط المرجح في رؤوس الانتباه الذاتي.

نوع المخرجات لـ [XLNetModel](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetModel).

#### transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput[[transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L684)

**المعاملات:**

loss (`torch.Tensor` من الشكل *(1,)*، *اختياري*، يُعاد عند توفير `labels`) : خسارة نمذجة اللغة (لتوقع الرمز التالي).

logits (`torch.Tensor` من الشكل `(batch_size, num_predict, config.vocab_size)`) : درجات التنبؤ لرأس نمذجة اللغة (درجات لكل رمز في المفردات قبل SoftMax).  `num_predict` يتوافق مع `target_mapping.shape[1]`. إذا كان `target_mapping` هو `None`، فإن `num_predict` يتوافق مع `sequence_length`.

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا. يمكن استخدامه (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.

hidden_states (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) : مجموعة من `torch.Tensor` (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات مخفية للنموذج عند إخراج كل طبقة بالإضافة إلى إخراجات التضمين الأولية الاختيارية.

attentions (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) : مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق softmax على الانتباه، وتُستخدم لحساب المتوسط المرجح في رؤوس الانتباه الذاتي.

نوع المخرجات لـ [XLNetLMHeadModel](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetLMHeadModel).

#### transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L712)

**المعاملات:**

loss (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند تقديم `label`) : خسارة التصنيف (أو الانحدار إذا كان config.num_labels==1).

logits (`torch.Tensor` من الشكل `(batch_size, config.num_labels)`) : درجات التصنيف (أو الانحدار إذا كان config.num_labels==1) (قبل SoftMax).

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا. يمكن استخدامه (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.

hidden_states (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) : مجموعة من `torch.Tensor` (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات مخفية للنموذج عند إخراج كل طبقة بالإضافة إلى إخراجات التضمين الأولية الاختيارية.

attentions (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) : مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق softmax على الانتباه، وتُستخدم لحساب المتوسط المرجح في رؤوس الانتباه الذاتي.

نوع المخرجات لـ [XLNetForSequenceClassification](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetForSequenceClassification).

#### transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L762)

**المعاملات:**

loss (`torch.Tensor` من الشكل *(1,)*، *اختياري*، يُعاد عند توفير `labels`) : خسارة التصنيف.

logits (`torch.Tensor` من الشكل `(batch_size, num_choices)`) : *num_choices* هي البُعد الثاني للمصفوفات المدخلة. (انظر إلى *input_ids* أعلاه). درجات التصنيف (قبل SoftMax).

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا. يمكن استخدامه (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.

hidden_states (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) : مجموعة من `torch.Tensor` (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات مخفية للنموذج عند إخراج كل طبقة بالإضافة إلى إخراجات التضمين الأولية الاختيارية.

attentions (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) : مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق softmax على الانتباه، وتُستخدم لحساب المتوسط المرجح في رؤوس الانتباه الذاتي.

نوع المخرجات لـ [XLNetForMultipleChoice](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetForMultipleChoice).

#### transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L737)

**المعاملات:**

loss (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند تقديم `labels`) : خسارة التصنيف.

logits (`torch.Tensor` من الشكل `(batch_size, sequence_length, config.num_labels)`) : درجات التصنيف (قبل SoftMax).

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا. يمكن استخدامه (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.

hidden_states (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) : مجموعة من `torch.Tensor` (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات مخفية للنموذج عند إخراج كل طبقة بالإضافة إلى إخراجات التضمين الأولية الاختيارية.

attentions (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) : مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق softmax على الانتباه، وتُستخدم لحساب المتوسط المرجح في رؤوس الانتباه الذاتي.

نوع المخرجات الخاص بـ `XLNetForTokenClassificationOutput`.

#### transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput(loss: typing.Optional[torch.Tensor] = None, start_logits: typing.Optional[torch.Tensor] = None, end_logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L789)

**المعاملات:**

loss (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند توفير `labels`) : إجمالي خسارة استخراج المدى هو مجموع دالة Cross-Entropy لموقعي البداية والنهاية.

start_logits (`torch.Tensor` من الشكل `(batch_size, sequence_length,)`) : درجات بداية النطاق (قبل SoftMax).

end_logits (`torch.Tensor` من الشكل `(batch_size, sequence_length,)`) : درجات نهاية المقطع (قبل SoftMax).

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا. يمكن استخدامه (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.

hidden_states (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) : مجموعة من `torch.Tensor` (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات مخفية للنموذج عند إخراج كل طبقة بالإضافة إلى إخراجات التضمين الأولية الاختيارية.

attentions (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) : مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق softmax على الانتباه، وتُستخدم لحساب المتوسط المرجح في رؤوس الانتباه الذاتي.

نوع المخرجات لـ [XLNetForQuestionAnsweringSimple](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetForQuestionAnsweringSimple).

#### transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput(loss: typing.Optional[torch.Tensor] = None, start_top_log_probs: typing.Optional[torch.Tensor] = None, start_top_index: typing.Optional[torch.LongTensor] = None, end_top_log_probs: typing.Optional[torch.Tensor] = None, end_top_index: typing.Optional[torch.LongTensor] = None, cls_logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L817)

**المعاملات:**

loss (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد إذا تم توفير كل من `start_positions` و`end_positions`) : خسارة التصنيف كمجموع خسائر تصنيف رمز البداية، رمز النهاية (و is_impossible إذا تم توفيره).

start_top_log_probs (`torch.Tensor` من الشكل `(batch_size, config.start_n_top)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) : احتمالات السجل (log probabilities) لاحتمالات أعلى config.start_n_top لرموز البداية (بحث الحزمة).

start_top_index (`torch.LongTensor` من الشكل `(batch_size, config.start_n_top)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) : فهارس لأفضل config.start_n_top احتمالات لرمز البداية (بحث الحزمة).

end_top_log_probs (`torch.Tensor` من الشكل `(batch_size, config.start_n_top * config.end_n_top)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) : احتمالات السجل (Log probabilities) لأفضل `config.start_n_top * config.end_n_top` احتمالات لرموز النهاية (بحث الحزمة).

end_top_index (`torch.LongTensor` من الشكل `(batch_size, config.start_n_top * config.end_n_top)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) : فهارس لأفضل `config.start_n_top * config.end_n_top` احتمالات لرموز النهاية (بحث الحزمة).

cls_logits (`torch.Tensor` من الشكل `(batch_size,)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) : احتمالات اللوغاريتمية لوسم `is_impossible` للإجابات.

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا. يمكن استخدامه (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.

hidden_states (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) : مجموعة من `torch.Tensor` (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات مخفية للنموذج عند إخراج كل طبقة بالإضافة إلى إخراجات التضمين الأولية الاختيارية.

attentions (`tuple[torch.Tensor, ...]`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) : مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق softmax على الانتباه، وتُستخدم لحساب المتوسط المرجح في رؤوس الانتباه الذاتي.

نوع المخرجات الخاص بـ [XLNetForQuestionAnswering](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetForQuestionAnswering).

## XLNetModel[[transformers.XLNetModel]]

#### transformers.XLNetModel[[transformers.XLNetModel]]

```python
transformers.XLNetModel(config: XLNetConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L851)

**المعاملات:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج Xlnet الأساسي الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.XLNetModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L976)

**المعاملات:**

input_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا (انظر مخرج `mems` أدناه). يمكن استخدامه لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل. يجب تعيين `use_mems` إلى `True` لاستخدام `mems`.

perm_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length, sequence_length)`، *اختياري*) : قناع يُظهر نمط الانتباه لكل رمز إدخال، بقيم محددة ضمن `[0, 1]`: - إذا كان `perm_mask[k, i, j] = 0`، فإن i ينتبه إلى j في الدفعة k؛ - إذا كان `perm_mask[k, i, j] = 1`، فإن i لا ينتبه إلى j في الدفعة k. إذا لم يُضبط، ينتبه كل رمز إلى جميع الرموز الأخرى (انتباه ثنائي الاتجاه كامل). يُستخدم فقط أثناء التدريب المسبق (لتحديد ترتيب التفكيك) أو للتفكيك التسلسلي (التوليد).

target_mapping (`torch.Tensor` من الشكل `(batch_size, num_predict, sequence_length)`، *اختياري*) : قناع لتحديد الرموز الإخراجية التي يجب استخدامها. إذا كان `target_mapping[k, i, j] = 1`، فإن التنبؤ رقم i في الدفعة k يقع على الرمز رقم j. يُستخدم فقط أثناء التدريب المسبق للتنبؤ الجزئي أو للتفكيك التسلسلي (التوليد).

token_type_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز المقاطع لتحديد الجزء الأول والثاني من المدخلات. يتم اختيار الفهارس من `[0, 1]`: - 0 يقابل رمز *الجملة أ*، - 1 يقابل رمز *الجملة ب*. [ما هي معرّفات أنواع الرموز؟](../glossary#token-type-ids)

input_mask (`torch.Tensor` من الشكل `batch_size, sequence_length`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. وهو العكس السالب لـ`attention_mask`، أي أنه يحتوي على 0 للرموز الفعلية و1 للحشو، وهو ما يُحافظ عليه من أجل التوافق مع قاعدة الكود الأصلية. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي هي **مقنّعة**، - 0 للرموز التي هي **غير مقنّعة**. يمكنك استخدام واحد فقط من `input_mask` و`attention_mask`.

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

use_mems (`bool`، *اختياري*) : ما إذا كان سيتم استخدام حالات الذاكرة لتسريع فك الترميز التسلسلي. إذا تم ضبطه على `True`، فسيستخدم النموذج الحالات المخفية من عمليات المرور الأمامية السابقة لحساب الانتباه، مما قد يحسّن الأداء بشكل كبير لمهام فك الترميز التسلسلي.

output_attentions (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع مصفوفات الانتباه لجميع طبقات الانتباه. راجع `attentions` ضمن المصفوفات المُرجعة لمزيد من التفاصيل.

output_hidden_states (`bool`, *اختياري*) : ما إذا كان سيتم إرجاع الحالات المخفية لجميع الطبقات. راجع `hidden_states` ضمن الموترات المُرجعة لمزيد من التفاصيل.

return_dict (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع [ModelOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.utils.ModelOutput) بدلاً من tuple عادي.

**يعيد:** [XLNetModelOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetModelOutput) أو `tuple(torch.Tensor)`

[XLNetModelOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetModelOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) والمدخلات.

تتجاوز طريقة [XLNetModel](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetModel) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **last_hidden_state** (`torch.Tensor` من الشكل `(batch_size, num_predict, hidden_size)`) -- تسلسل حالات الخفاء في الطبقة الأخيرة من النموذج.

  يتوافق `num_predict` مع `target_mapping.shape[1]`. إذا كان `target_mapping` هو `None`، فإن `num_predict` يتوافق مع `sequence_length`.
- **mems** (`list[torch.Tensor]` بطول `config.n_layers`) -- تحتوي على حالات مخفية محسوبة مسبقاً. يمكن استخدامها (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم ماضيها إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) من الشكل `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

## XLNetLMHeadModel[[transformers.XLNetLMHeadModel]]

#### transformers.XLNetLMHeadModel[[transformers.XLNetLMHeadModel]]

```python
transformers.XLNetLMHeadModel(config: XLNetConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1215)

**المعاملات:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج XLNet مع رأس لنمذجة اللغة في الأعلى (طبقة خطية بأوزان مرتبطة بتضمينات الإدخال).

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.XLNetLMHeadModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1290)

**المعاملات:**

input_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا (انظر مخرج `mems` أدناه). يمكن استخدامه لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل. يجب تعيين `use_mems` إلى `True` لاستخدام `mems`.

perm_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length, sequence_length)`، *اختياري*) : قناع يُظهر نمط الانتباه لكل رمز إدخال، بقيم محددة ضمن `[0, 1]`: - إذا كان `perm_mask[k, i, j] = 0`، فإن i ينتبه إلى j في الدفعة k؛ - إذا كان `perm_mask[k, i, j] = 1`، فإن i لا ينتبه إلى j في الدفعة k. إذا لم يُضبط، ينتبه كل رمز إلى جميع الرموز الأخرى (انتباه ثنائي الاتجاه كامل). يُستخدم فقط أثناء التدريب المسبق (لتحديد ترتيب التفكيك) أو للتفكيك التسلسلي (التوليد).

target_mapping (`torch.Tensor` من الشكل `(batch_size, num_predict, sequence_length)`، *اختياري*) : قناع لتحديد الرموز الإخراجية التي يجب استخدامها. إذا كان `target_mapping[k, i, j] = 1`، فإن التنبؤ رقم i في الدفعة k يقع على الرمز رقم j. يُستخدم فقط أثناء التدريب المسبق للتنبؤ الجزئي أو للتفكيك التسلسلي (التوليد).

token_type_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز المقاطع لتحديد الجزء الأول والثاني من المدخلات. يتم اختيار الفهارس من `[0, 1]`: - 0 يقابل رمز *الجملة أ*، - 1 يقابل رمز *الجملة ب*. [ما هي معرّفات أنواع الرموز؟](../glossary#token-type-ids)

input_mask (`torch.Tensor` من الشكل `batch_size, sequence_length`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. وهو العكس السالب لـ`attention_mask`، أي أنه يحتوي على 0 للرموز الفعلية و1 للحشو، وهو ما يُحافظ عليه من أجل التوافق مع قاعدة الكود الأصلية. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي هي **مقنّعة**، - 0 للرموز التي هي **غير مقنّعة**. يمكنك استخدام واحد فقط من `input_mask` و`attention_mask`.

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

labels (`torch.LongTensor` من الشكل `(batch_size, num_predict)`، *اختياري*) : تسميات لنمذجة اللغة المقنّعة. `num_predict` يتوافق مع `target_mapping.shape[1]`. إذا كان `target_mapping` هو `None`، فإن `num_predict` يتوافق مع `sequence_length`.  يجب أن تتوافق التسميات مع الكلمات المدخلة المقنّعة التي ينبغي التنبؤ بها، وتعتمد على `target_mapping`. لاحظ أنه من أجل تنفيذ نمذجة اللغة التلقائية التكرارية القياسية، يجب إضافة رمز ** إلى `input_ids` (انظر دالة `prepare_inputs_for_generation` والأمثلة أدناه)  يتم اختيار الفهارس من `[-100, 0, ..., config.vocab_size]` يتم تجاهل جميع التسميات المضبوطة على `-100`، ولا يُحسب الخسارة إلا للتسميات الموجودة في `[0, ..., config.vocab_size]`

use_mems (`bool`، *اختياري*) : ما إذا كان سيتم استخدام حالات الذاكرة لتسريع فك الترميز التسلسلي. إذا تم ضبطه على `True`، فسيستخدم النموذج الحالات المخفية من عمليات المرور الأمامية السابقة لحساب الانتباه، مما قد يحسّن الأداء بشكل كبير لمهام فك الترميز التسلسلي.

output_attentions (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع مصفوفات الانتباه لجميع طبقات الانتباه. راجع `attentions` ضمن المصفوفات المُرجعة لمزيد من التفاصيل.

output_hidden_states (`bool`, *اختياري*) : ما إذا كان سيتم إرجاع الحالات المخفية لجميع الطبقات. راجع `hidden_states` ضمن الموترات المُرجعة لمزيد من التفاصيل.

return_dict (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع [ModelOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.utils.ModelOutput) بدلاً من tuple عادي.

logits_to_keep (`Union[int, torch.Tensor]`، *اختياري*، القيمة الافتراضية `0`) : إذا كان `int`، يتم حساب القيم اللوجستية (logits) لآخر `logits_to_keep` رموز. إذا كانت `0`، يتم حساب القيم اللوجستية لجميع `input_ids` (حالة خاصة). لا تكون قيم اللوجستيات للرمز الأخير فقط ضرورية للتوليد، ويمكن أن يوفر حسابها لذلك الرمز وحده ذاكرة، وهو ما يصبح ذا أهمية كبيرة للترتيبات الطويلة أو لحجم المفردات الكبير. إذا كان `torch.Tensor`، يجب أن يكون بعدًا واحدًا (1D) ويتوافق مع الفهارس التي يجب الاحتفاظ بها في بُعد طول الترتيب. وهذا مفيد عند استخدام تنسيق المصفوفات المعبأة (packed tensor format) (بعد واحد لكل من الدفعة وطول الترتيب).

**يعيد:** [XLNetLMHeadModelOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput) أو `tuple(torch.Tensor)`

[XLNetLMHeadModelOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) والمدخلات.

تتجاوز طريقة [XLNetLMHeadModel](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetLMHeadModel) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` من الشكل *(1,)*، *اختياري*، يُعاد عند تقديم `labels`) -- خسارة نمذجة اللغة (لتوقع الرمز التالي).
- **logits** (`torch.Tensor` من الشكل `(batch_size, num_predict, config.vocab_size)`) -- درجات التنبؤ لرأس نمذجة اللغة (درجات كل رمز في المفردات قبل SoftMax).

  يتوافق `num_predict` مع `target_mapping.shape[1]`. إذا كان `target_mapping` هو `None`، فإن `num_predict` يتوافق مع `sequence_length`.
- **mems** (`list[torch.Tensor]` بطول `config.n_layers`) -- تحتوي على حالات مخفية محسوبة مسبقاً. يمكن استخدامها (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم ماضيها إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) من الشكل `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

أمثلة:

```python
>>> from transformers import AutoTokenizer, XLNetLMHeadModel
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetLMHeadModel.from_pretrained("xlnet/xlnet-large-cased")

>>> # We show how to setup inputs to predict a next token using a bi-directional context.
>>> input_ids = torch.tensor(
...     tokenizer.encode("Hello, my dog is very <mask>", add_special_tokens=False)
... ).unsqueeze(
...     0
... )  # We will predict the masked token
>>> perm_mask = torch.zeros((1, input_ids.shape[1], input_ids.shape[1]), dtype=torch.float)
>>> perm_mask[:, :, -1] = 1.0  # Previous tokens don't see last token
>>> target_mapping = torch.zeros(
...     (1, 1, input_ids.shape[1]), dtype=torch.float
... )  # Shape [1, 1, seq_length] => let's predict one token
>>> target_mapping[
...     0, 0, -1
... ] = 1.0  # Our first (and only) prediction will be the last token of the sequence (the masked token)

>>> outputs = model(input_ids, perm_mask=perm_mask, target_mapping=target_mapping)
>>> next_token_logits = outputs[
...     0
... ]  # Output has shape [target_mapping.size(0), target_mapping.size(1), config.vocab_size]

>>> # The same way can the XLNetLMHeadModel be used to be trained by standard auto-regressive language modeling.
>>> input_ids = torch.tensor(
...     tokenizer.encode("Hello, my dog is very <mask>", add_special_tokens=False)
... ).unsqueeze(
...     0
... )  # We will predict the masked token
>>> labels = torch.tensor(tokenizer.encode("cute", add_special_tokens=False)).unsqueeze(0)
>>> assert labels.shape[0] == 1, "only one word will be predicted"
>>> perm_mask = torch.zeros((1, input_ids.shape[1], input_ids.shape[1]), dtype=torch.float)
>>> perm_mask[
...     :, :, -1
... ] = 1.0  # Previous tokens don't see last token as is done in standard auto-regressive lm training
>>> target_mapping = torch.zeros(
...     (1, 1, input_ids.shape[1]), dtype=torch.float
... )  # Shape [1, 1, seq_length] => let's predict one token
>>> target_mapping[
...     0, 0, -1
... ] = 1.0  # Our first (and only) prediction will be the last token of the sequence (the masked token)

>>> outputs = model(input_ids, perm_mask=perm_mask, target_mapping=target_mapping, labels=labels)
>>> loss = outputs.loss
>>> next_token_logits = (
...     outputs.logits
... )  # Logits have shape [target_mapping.size(0), target_mapping.size(1), config.vocab_size]
```

## XLNetForSequenceClassification[[transformers.XLNetForSequenceClassification]]

#### transformers.XLNetForSequenceClassification[[transformers.XLNetForSequenceClassification]]

```python
transformers.XLNetForSequenceClassification(config: XLNetConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1462)

**المعاملات:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج XLNet مع رأس تصنيف/انحدار تسلسلي في الأعلى (طبقة خطية فوق المخرجات المجمعة) على سبيل المثال لمهام GLUE.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.XLNetForSequenceClassification.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1475)

**المعاملات:**

input_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا (انظر مخرج `mems` أدناه). يمكن استخدامه لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل. يجب تعيين `use_mems` إلى `True` لاستخدام `mems`.

perm_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length, sequence_length)`، *اختياري*) : قناع يُظهر نمط الانتباه لكل رمز إدخال، بقيم محددة ضمن `[0, 1]`: - إذا كان `perm_mask[k, i, j] = 0`، فإن i ينتبه إلى j في الدفعة k؛ - إذا كان `perm_mask[k, i, j] = 1`، فإن i لا ينتبه إلى j في الدفعة k. إذا لم يُضبط، ينتبه كل رمز إلى جميع الرموز الأخرى (انتباه ثنائي الاتجاه كامل). يُستخدم فقط أثناء التدريب المسبق (لتحديد ترتيب التفكيك) أو للتفكيك التسلسلي (التوليد).

target_mapping (`torch.Tensor` من الشكل `(batch_size, num_predict, sequence_length)`، *اختياري*) : قناع لتحديد الرموز الإخراجية التي يجب استخدامها. إذا كان `target_mapping[k, i, j] = 1`، فإن التنبؤ رقم i في الدفعة k يقع على الرمز رقم j. يُستخدم فقط أثناء التدريب المسبق للتنبؤ الجزئي أو للتفكيك التسلسلي (التوليد).

token_type_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز المقاطع لتحديد الجزء الأول والثاني من المدخلات. يتم اختيار الفهارس من `[0, 1]`: - 0 يقابل رمز *الجملة أ*، - 1 يقابل رمز *الجملة ب*. [ما هي معرّفات أنواع الرموز؟](../glossary#token-type-ids)

input_mask (`torch.Tensor` من الشكل `batch_size, sequence_length`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. وهو العكس السالب لـ`attention_mask`، أي أنه يحتوي على 0 للرموز الفعلية و1 للحشو، وهو ما يُحافظ عليه من أجل التوافق مع قاعدة الكود الأصلية. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي هي **مقنّعة**، - 0 للرموز التي هي **غير مقنّعة**. يمكنك استخدام واحد فقط من `input_mask` و`attention_mask`.

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

labels (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لحساب خسارة تصنيف/انحدار التسلسل. يجب أن تكون الفهارس ضمن `[0, ..., config.num_labels - 1]`. إذا كان `config.num_labels == 1` يتم حساب خسارة الانحدار (خسارة متوسط المربع)، وإذا كان `config.num_labels > 1` يتم حساب خسارة التصنيف (الإنتروبيا المتقاطعة).

use_mems (`bool`، *اختياري*) : ما إذا كان سيتم استخدام حالات الذاكرة لتسريع فك الترميز التسلسلي. إذا تم ضبطه على `True`، فسيستخدم النموذج الحالات المخفية من عمليات المرور الأمامية السابقة لحساب الانتباه، مما قد يحسّن الأداء بشكل كبير لمهام فك الترميز التسلسلي.

output_attentions (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع مصفوفات الانتباه لجميع طبقات الانتباه. راجع `attentions` ضمن المصفوفات المُرجعة لمزيد من التفاصيل.

output_hidden_states (`bool`, *اختياري*) : ما إذا كان سيتم إرجاع الحالات المخفية لجميع الطبقات. راجع `hidden_states` ضمن الموترات المُرجعة لمزيد من التفاصيل.

return_dict (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع [ModelOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.utils.ModelOutput) بدلاً من tuple عادي.

**يعيد:** [XLNetForSequenceClassificationOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput) أو `tuple(torch.Tensor)`

[XLNetForSequenceClassificationOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput) أو مجموعة مرتبة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) والمدخلات.

تتجاوز طريقة [XLNetForSequenceClassification](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetForSequenceClassification) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` بشكل `(1,)`، *اختياري*، يُعاد عند توفير `label`) -- خسارة التصنيف (أو الانحدار إذا كان config.num_labels==1).
- **logits** (`torch.Tensor` من الشكل `(batch_size, config.num_labels)`) -- درجات التصنيف (أو الانحدار إذا كان config.num_labels==1) (قبل SoftMax).
- **mems** (`list[torch.Tensor]` بطول `config.n_layers`) -- تحتوي على حالات مخفية محسوبة مسبقاً. يمكن استخدامها (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم ماضيها إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) من الشكل `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال على تصنيف بوسم واحد:

```python
>>> import torch
>>> from transformers import AutoTokenizer, XLNetForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForSequenceClassification.from_pretrained("xlnet/xlnet-large-cased")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = XLNetForSequenceClassification.from_pretrained("xlnet/xlnet-large-cased", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

مثال على تصنيف متعدد التسميات:

```python
>>> import torch
>>> from transformers import AutoTokenizer, XLNetForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForSequenceClassification.from_pretrained("xlnet/xlnet-large-cased", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = XLNetForSequenceClassification.from_pretrained(
...     "xlnet/xlnet-large-cased", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## XLNetForMultipleChoice[[transformers.XLNetForMultipleChoice]]

#### transformers.XLNetForMultipleChoice[[transformers.XLNetForMultipleChoice]]

```python
transformers.XLNetForMultipleChoice(config: XLNetConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1694)

**المعاملات:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج Xlnet مع رأس تصنيف متعدد الخيارات في الأعلى (طبقة خطية فوق المخرجات المجمعة و softmax) على سبيل المثال لمهام RocStories/SWAG.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.XLNetForMultipleChoice.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1705)

**المعاملات:**

input_ids (`torch.LongTensor` بأبعاد `(batch_size, num_choices, sequence_length)`) : مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. يمكن الحصول على المؤشرات باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

token_type_ids (`torch.LongTensor` من الشكل `(batch_size, num_choices, sequence_length)`، *اختياري*) : فهارس رموز المقاطع للإشارة إلى الجزء الأول والثاني من المدخلات. يتم اختيار الفهارس من `[0, 1]`: - 0 يقابل رمز *الجملة A*، - 1 يقابل رمز *الجملة B*. [ما هي معرّفات أنواع الرموز؟](../glossary#token-type-ids)

input_mask (`torch.Tensor` من الشكل `batch_size, num_choices, sequence_length`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. وهو العكس السالب لـ`attention_mask`، أي أنه يحتوي على 0 للرموز الفعلية و1 للحشو، ويُحافظ عليه من أجل التوافق مع قاعدة الكود الأصلية. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي هي **مقنّعة**، - 0 للرموز التي هي **غير مقنّعة**. يمكنك استخدام واحد فقط من `input_mask` و`attention_mask`.

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا (انظر مخرج `mems` أدناه). يمكن استخدامه لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل. يجب تعيين `use_mems` إلى `True` لاستخدام `mems`.

perm_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length, sequence_length)`، *اختياري*) : قناع يُظهر نمط الانتباه لكل رمز إدخال، بقيم محددة ضمن `[0, 1]`: - إذا كان `perm_mask[k, i, j] = 0`، فإن i ينتبه إلى j في الدفعة k؛ - إذا كان `perm_mask[k, i, j] = 1`، فإن i لا ينتبه إلى j في الدفعة k. إذا لم يُضبط، ينتبه كل رمز إلى جميع الرموز الأخرى (انتباه ثنائي الاتجاه كامل). يُستخدم فقط أثناء التدريب المسبق (لتحديد ترتيب التفكيك) أو للتفكيك التسلسلي (التوليد).

target_mapping (`torch.Tensor` من الشكل `(batch_size, num_predict, sequence_length)`، *اختياري*) : قناع لتحديد الرموز الإخراجية التي يجب استخدامها. إذا كان `target_mapping[k, i, j] = 1`، فإن التنبؤ رقم i في الدفعة k يقع على الرمز رقم j. يُستخدم فقط أثناء التدريب المسبق للتنبؤ الجزئي أو للتفكيك التسلسلي (التوليد).

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, num_choices, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

labels (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لحساب خسارة تصنيف الاختيار المتعدد. يجب أن تكون الفهارس ضمن `[0, ...,

use_mems (`bool`، *اختياري*) : ما إذا كان سيتم استخدام حالات الذاكرة لتسريع فك الترميز التسلسلي. إذا تم ضبطه على `True`، فسيستخدم النموذج الحالات المخفية من عمليات المرور الأمامية السابقة لحساب الانتباه، مما قد يحسّن الأداء بشكل كبير لمهام فك الترميز التسلسلي.

output_attentions (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع مصفوفات الانتباه لجميع طبقات الانتباه. راجع `attentions` ضمن المصفوفات المُرجعة لمزيد من التفاصيل.

output_hidden_states (`bool`, *اختياري*) : ما إذا كان سيتم إرجاع الحالات المخفية لجميع الطبقات. راجع `hidden_states` ضمن الموترات المُرجعة لمزيد من التفاصيل.

return_dict (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع [ModelOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.utils.ModelOutput) بدلاً من tuple عادي.

**يعيد:** [XLNetForMultipleChoiceOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput) أو `tuple(torch.Tensor)`

[XLNetForMultipleChoiceOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) والمدخلات.

تتجاوز طريقة [XLNetForMultipleChoice](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetForMultipleChoice) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` بأبعاد *(1,)*، *اختياري*، يُعاد عند تقديم `labels`) -- خسارة التصنيف.
- **logits** (`torch.Tensor` بأبعاد `(batch_size, num_choices)`) -- *num_choices* هو البُعد الثاني من المصفوفات المدخلة. (انظر إلى *input_ids* أعلاه).

  درجات التصنيف (قبل SoftMax).
- **mems** (`list[torch.Tensor]` بطول `config.n_layers`) -- تحتوي على حالات مخفية محسوبة مسبقاً. يمكن استخدامها (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم ماضيها إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) من الشكل `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال:

```python
>>> from transformers import AutoTokenizer, XLNetForMultipleChoice
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForMultipleChoice.from_pretrained("xlnet/xlnet-large-cased")

>>> prompt = "In Italy, pizza served in formal settings, such as at a restaurant, is presented unsliced."
>>> choice0 = "It is eaten with a fork and a knife."
>>> choice1 = "It is eaten while held in the hand."
>>> labels = torch.tensor(0).unsqueeze(0)  # choice0 is correct (according to Wikipedia ;)), batch size 1

>>> encoding = tokenizer([prompt, prompt], [choice0, choice1], return_tensors="pt", padding=True)
>>> outputs = model(**{k: v.unsqueeze(0) for k, v in encoding.items()}, labels=labels)  # batch size is 1

>>> # the linear classifier still needs to be trained
>>> loss = outputs.loss
>>> logits = outputs.logits
```

## XLNetForTokenClassification[[transformers.XLNetForTokenClassification]]

#### transformers.XLNetForTokenClassification[[transformers.XLNetForTokenClassification]]

```python
transformers.XLNetForTokenClassification(config: XLNetConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1586)

**المعاملات:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

محوّل Xlnet مع رأس تصنيف الرموز في الأعلى (طبقة خطية فوق مخرجات الحالات المخفية) على سبيل المثال لمهام التعرف على الكيانات المسمّاة (NER).

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.XLNetForTokenClassification.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1597)

**المعاملات:**

input_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا (انظر مخرج `mems` أدناه). يمكن استخدامه لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل. يجب تعيين `use_mems` إلى `True` لاستخدام `mems`.

perm_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length, sequence_length)`، *اختياري*) : قناع يُظهر نمط الانتباه لكل رمز إدخال، بقيم محددة ضمن `[0, 1]`: - إذا كان `perm_mask[k, i, j] = 0`، فإن i ينتبه إلى j في الدفعة k؛ - إذا كان `perm_mask[k, i, j] = 1`، فإن i لا ينتبه إلى j في الدفعة k. إذا لم يُضبط، ينتبه كل رمز إلى جميع الرموز الأخرى (انتباه ثنائي الاتجاه كامل). يُستخدم فقط أثناء التدريب المسبق (لتحديد ترتيب التفكيك) أو للتفكيك التسلسلي (التوليد).

target_mapping (`torch.Tensor` من الشكل `(batch_size, num_predict, sequence_length)`، *اختياري*) : قناع لتحديد الرموز الإخراجية التي يجب استخدامها. إذا كان `target_mapping[k, i, j] = 1`، فإن التنبؤ رقم i في الدفعة k يقع على الرمز رقم j. يُستخدم فقط أثناء التدريب المسبق للتنبؤ الجزئي أو للتفكيك التسلسلي (التوليد).

token_type_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز المقاطع لتحديد الجزء الأول والثاني من المدخلات. يتم اختيار الفهارس من `[0, 1]`: - 0 يقابل رمز *الجملة أ*، - 1 يقابل رمز *الجملة ب*. [ما هي معرّفات أنواع الرموز؟](../glossary#token-type-ids)

input_mask (`torch.Tensor` من الشكل `batch_size, sequence_length`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. وهو العكس السالب لـ`attention_mask`، أي أنه يحتوي على 0 للرموز الفعلية و1 للحشو، وهو ما يُحافظ عليه من أجل التوافق مع قاعدة الكود الأصلية. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي هي **مقنّعة**، - 0 للرموز التي هي **غير مقنّعة**. يمكنك استخدام واحد فقط من `input_mask` و`attention_mask`.

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

labels (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لحساب خسارة تصنيف الاختيار المتعدد. يجب أن تكون الفهارس ضمن `[0, ..., num_choices]` حيث *num_choices* هو حجم البُعد الثاني من المصفوفات المدخلة. (انظر *input_ids* أعلاه)

use_mems (`bool`، *اختياري*) : ما إذا كان سيتم استخدام حالات الذاكرة لتسريع فك الترميز التسلسلي. إذا تم ضبطه على `True`، فسيستخدم النموذج الحالات المخفية من عمليات المرور الأمامية السابقة لحساب الانتباه، مما قد يحسّن الأداء بشكل كبير لمهام فك الترميز التسلسلي. حالات الذاكرة لتسريع فك الترميز التسلسلي. إذا تم ضبطه على `True`، فسيستخدم النموذج الحالات المخفية من عمليات المرور الأمامية السابقة لحساب الانتباه، مما قد يحسّن الأداء بشكل كبير لمهام فك الترميز التسلسلي.

output_attentions (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع مصفوفات الانتباه لجميع طبقات الانتباه. راجع `attentions` ضمن المصفوفات المُرجعة لمزيد من التفاصيل.

output_hidden_states (`bool`, *اختياري*) : ما إذا كان سيتم إرجاع الحالات المخفية لجميع الطبقات. راجع `hidden_states` ضمن الموترات المُرجعة لمزيد من التفاصيل.

return_dict (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع [ModelOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.utils.ModelOutput) بدلاً من tuple عادي.

**يعيد:** [XLNetForTokenClassificationOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput) أو `tuple(torch.Tensor)`

[XLNetForTokenClassificationOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) والمدخلات.

تتجاوز طريقة [XLNetForTokenClassification](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetForTokenClassification) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` of shape `(1,)`, *اختياري*, يُعاد عند توفير `labels`) -- خسارة التصنيف.
- **logits** (`torch.Tensor` من الشكل `(batch_size, sequence_length, config.num_labels)`) -- درجات التصنيف (قبل SoftMax).
- **mems** (`list[torch.Tensor]` بطول `config.n_layers`) -- تحتوي على حالات مخفية محسوبة مسبقاً. يمكن استخدامها (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم ماضيها إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) من الشكل `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال:

```python
>>> from transformers import AutoTokenizer, XLNetForTokenClassification
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForTokenClassification.from_pretrained("xlnet/xlnet-large-cased")

>>> inputs = tokenizer(
...     "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_token_class_ids = logits.argmax(-1)

>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> predicted_tokens_classes
...

>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

## XLNetForQuestionAnsweringSimple[[transformers.XLNetForQuestionAnsweringSimple]]

#### transformers.XLNetForQuestionAnsweringSimple[[transformers.XLNetForQuestionAnsweringSimple]]

```python
transformers.XLNetForQuestionAnsweringSimple(config: XLNetConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1838)

**المعاملات:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج XLNet مع رأس تصنيف مقاطع (span classification head) في الأعلى لمهام الإجابة الاستخراجية على الأسئلة مثل SQuAD (طبقات خطية فوق مخرجات الحالات المخفية لحساب `span start logits` و`span end logits`).

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.XLNetForQuestionAnsweringSimple.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, start_positions: typing.Optional[torch.Tensor] = None, end_positions: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1849)

**المعاملات:**

input_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا (انظر مخرج `mems` أدناه). يمكن استخدامه لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل. يجب تعيين `use_mems` إلى `True` لاستخدام `mems`.

perm_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length, sequence_length)`، *اختياري*) : قناع يُظهر نمط الانتباه لكل رمز إدخال، بقيم محددة ضمن `[0, 1]`: - إذا كان `perm_mask[k, i, j] = 0`، فإن i ينتبه إلى j في الدفعة k؛ - إذا كان `perm_mask[k, i, j] = 1`، فإن i لا ينتبه إلى j في الدفعة k. إذا لم يُضبط، ينتبه كل رمز إلى جميع الرموز الأخرى (انتباه ثنائي الاتجاه كامل). يُستخدم فقط أثناء التدريب المسبق (لتحديد ترتيب التفكيك) أو للتفكيك التسلسلي (التوليد).

target_mapping (`torch.Tensor` من الشكل `(batch_size, num_predict, sequence_length)`، *اختياري*) : قناع لتحديد الرموز الإخراجية التي يجب استخدامها. إذا كان `target_mapping[k, i, j] = 1`، فإن التنبؤ رقم i في الدفعة k يقع على الرمز رقم j. يُستخدم فقط أثناء التدريب المسبق للتنبؤ الجزئي أو للتفكيك التسلسلي (التوليد).

token_type_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز المقاطع لتحديد الجزء الأول والثاني من المدخلات. يتم اختيار الفهارس من `[0, 1]`: - 0 يقابل رمز *الجملة أ*، - 1 يقابل رمز *الجملة ب*. [ما هي معرّفات أنواع الرموز؟](../glossary#token-type-ids)

input_mask (`torch.Tensor` من الشكل `batch_size, sequence_length`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. وهو العكس السالب لـ`attention_mask`، أي أنه يحتوي على 0 للرموز الفعلية و1 للحشو، وهو ما يُحافظ عليه من أجل التوافق مع قاعدة الكود الأصلية. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي هي **مقنّعة**، - 0 للرموز التي هي **غير مقنّعة**. يمكنك استخدام واحد فقط من `input_mask` و`attention_mask`.

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

start_positions (`torch.Tensor` بأبعاد `(batch_size,)`، *اختياري*) : تسميات لموضع (فهرس) بداية النطاق المُسمّى لحساب خسارة تصنيف الرموز. تُثبَّت المواضع على طول التسلسل (`sequence_length`). المواضع خارج التسلسل لا تُؤخذ في الاعتبار عند حساب الخسارة.

end_positions (`torch.Tensor` بأبعاد `(batch_size,)`، *اختياري*) : تسميات لموضع (فهرس) نهاية المقطع المُسمّى لحساب خسارة تصنيف الرموز. تُثبَّت المواضع على طول التسلسل (`sequence_length`). المواضع خارج التسلسل لا تُؤخذ في الاعتبار عند حساب الخسارة.

use_mems (`bool`، *اختياري*) : ما إذا كان سيتم استخدام حالات الذاكرة لتسريع فك الترميز التسلسلي. إذا تم ضبطه على `True`، فسيستخدم النموذج الحالات المخفية من عمليات المرور الأمامية السابقة لحساب الانتباه، مما قد يحسّن الأداء بشكل كبير لمهام فك الترميز التسلسلي.

output_attentions (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع مصفوفات الانتباه لجميع طبقات الانتباه. راجع `attentions` ضمن المصفوفات المُرجعة لمزيد من التفاصيل.

output_hidden_states (`bool`, *اختياري*) : ما إذا كان سيتم إرجاع الحالات المخفية لجميع الطبقات. راجع `hidden_states` ضمن الموترات المُرجعة لمزيد من التفاصيل.

return_dict (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع [ModelOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.utils.ModelOutput) بدلاً من tuple عادي.

**يعيد:** [XLNetForQuestionAnsweringSimpleOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput) أو `tuple(torch.Tensor)`

[XLNetForQuestionAnsweringSimpleOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) والمدخلات.

تتجاوز طريقة [XLNetForQuestionAnsweringSimple](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetForQuestionAnsweringSimple) الخاصة بالتقديم الأمامي الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` بشكل `(1,)`، *اختياري*، يُعاد عند توفير `labels`) -- خسارة استخراج النطاق الكلي هي مجموع دالة Cross-Entropy لموقعي البداية والنهاية.
- **start_logits** (`torch.Tensor` من الشكل `(batch_size, sequence_length,)`) -- درجات بداية المقطع (قبل SoftMax).
- **end_logits** (`torch.Tensor` من الشكل `(batch_size, sequence_length,)`) -- درجات نهاية المقطع (قبل SoftMax).
- **mems** (`list[torch.Tensor]` بطول `config.n_layers`) -- تحتوي على حالات مخفية محسوبة مسبقاً. يمكن استخدامها (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم ماضيها إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) من الشكل `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال:

```python
>>> from transformers import AutoTokenizer, XLNetForQuestionAnsweringSimple
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForQuestionAnsweringSimple.from_pretrained("xlnet/xlnet-large-cased")

>>> question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"

>>> inputs = tokenizer(question, text, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()

>>> predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
>>> tokenizer.decode(predict_answer_tokens, skip_special_tokens=True)
...

>>> # target is "nice puppet"
>>> target_start_index = torch.tensor([14])
>>> target_end_index = torch.tensor([15])

>>> outputs = model(**inputs, start_positions=target_start_index, end_positions=target_end_index)
>>> loss = outputs.loss
>>> round(loss.item(), 2)
...
```

## XLNetForQuestionAnswering[[transformers.XLNetForQuestionAnswering]]

#### transformers.XLNetForQuestionAnswering[[transformers.XLNetForQuestionAnswering]]

```python
transformers.XLNetForQuestionAnswering(config: XLNetConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1959)

**المعاملات:**

config ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

محوّل Xlnet مع رأس تصنيف مقاطع في الأعلى لمهام الإجابة الاستخراجية على الأسئلة مثل SQuAD (طبقة خطية فوق مخرجات الحالات المخفية لحساب `span start logits` و`span end logits`).

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.XLNetForQuestionAnswering.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, start_positions: typing.Optional[torch.Tensor] = None, end_positions: typing.Optional[torch.Tensor] = None, is_impossible: typing.Optional[torch.Tensor] = None, cls_index: typing.Optional[torch.Tensor] = None, p_mask: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1973)

**المعاملات:**

input_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

mems (`list[torch.Tensor]` بطول `config.n_layers`) : يحتوي على حالات مخفية محسوبة مسبقًا (انظر مخرج `mems` أدناه). يمكن استخدامه لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم حالتها السابقة إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل. يجب تعيين `use_mems` إلى `True` لاستخدام `mems`.

perm_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length, sequence_length)`، *اختياري*) : قناع يُظهر نمط الانتباه لكل رمز إدخال، بقيم محددة ضمن `[0, 1]`: - إذا كان `perm_mask[k, i, j] = 0`، فإن i ينتبه إلى j في الدفعة k؛ - إذا كان `perm_mask[k, i, j] = 1`، فإن i لا ينتبه إلى j في الدفعة k. إذا لم يُضبط، ينتبه كل رمز إلى جميع الرموز الأخرى (انتباه ثنائي الاتجاه كامل). يُستخدم فقط أثناء التدريب المسبق (لتحديد ترتيب التفكيك) أو للتفكيك التسلسلي (التوليد).

target_mapping (`torch.Tensor` من الشكل `(batch_size, num_predict, sequence_length)`، *اختياري*) : قناع لتحديد الرموز الإخراجية التي يجب استخدامها. إذا كان `target_mapping[k, i, j] = 1`، فإن التنبؤ رقم i في الدفعة k يقع على الرمز رقم j. يُستخدم فقط أثناء التدريب المسبق للتنبؤ الجزئي أو للتفكيك التسلسلي (التوليد).

token_type_ids (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز المقاطع لتحديد الجزء الأول والثاني من المدخلات. يتم اختيار الفهارس من `[0, 1]`: - 0 يقابل رمز *الجملة أ*، - 1 يقابل رمز *الجملة ب*. [ما هي معرّفات أنواع الرموز؟](../glossary#token-type-ids)

input_mask (`torch.Tensor` من الشكل `batch_size, sequence_length`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. وهو العكس السالب لـ`attention_mask`، أي أنه يحتوي على 0 للرموز الفعلية و1 للحشو، وهو ما يُحافظ عليه من أجل التوافق مع قاعدة الكود الأصلية. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي هي **مقنّعة**، - 0 للرموز التي هي **غير مقنّعة**. يمكنك استخدام واحد فقط من `input_mask` و`attention_mask`.

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

start_positions (`torch.Tensor` بأبعاد `(batch_size,)`، *اختياري*) : تسميات لموضع (فهرس) بداية النطاق المُسمّى لحساب خسارة تصنيف الرموز. تُثبَّت المواضع على طول التسلسل (`sequence_length`). المواضع خارج التسلسل لا تُؤخذ في الاعتبار عند حساب الخسارة.

end_positions (`torch.Tensor` بأبعاد `(batch_size,)`، *اختياري*) : تسميات لموضع (فهرس) نهاية المقطع المُسمّى لحساب خسارة تصنيف الرموز. تُثبَّت المواضع على طول التسلسل (`sequence_length`). المواضع خارج التسلسل لا تُؤخذ في الاعتبار عند حساب الخسارة.

is_impossible (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات تحدد ما إذا كان للسؤال إجابة أم لا (SQuAD 2.0)

cls_index (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لموضع (فهرس) رمز التصنيف لاستخدامه كمدخل لحساب معقولية الإجابة.

p_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع اختياري للرموز التي لا يمكن أن تكون ضمن الإجابات (مثل [CLS]، [PAD]، ...). القيمة 1.0 تعني أن الرمز يجب إخفاؤه. القيمة 0.0 تعني أن الرمز غير مخفي.

use_mems (`bool`، *اختياري*) : ما إذا كان سيتم استخدام حالات الذاكرة لتسريع فك الترميز التسلسلي. إذا تم ضبطه على `True`، فسيستخدم النموذج الحالات المخفية من عمليات المرور الأمامية السابقة لحساب الانتباه، مما قد يحسّن الأداء بشكل كبير لمهام فك الترميز التسلسلي.

output_attentions (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع مصفوفات الانتباه لجميع طبقات الانتباه. راجع `attentions` ضمن المصفوفات المُرجعة لمزيد من التفاصيل.

output_hidden_states (`bool`, *اختياري*) : ما إذا كان سيتم إرجاع الحالات المخفية لجميع الطبقات. راجع `hidden_states` ضمن الموترات المُرجعة لمزيد من التفاصيل.

return_dict (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع [ModelOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.utils.ModelOutput) بدلاً من tuple عادي.

**يعيد:** [XLNetForQuestionAnsweringOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput) أو `tuple(torch.Tensor)`

[XLNetForQuestionAnsweringOutput](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([XLNetConfig](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetConfig)) والمدخلات.

تتجاوز طريقة [XLNetForQuestionAnswering](/docs/transformers/v5.23.0/ar/model_doc/xlnet#transformers.XLNetForQuestionAnswering) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` of shape `(1,)`, *اختياري*, يُعاد إذا تم توفير كل من `start_positions` و`end_positions`) -- خسارة التصنيف كمجموع لخسائر تصنيف رمز البداية، ورمز النهاية (و is_impossible إذا تم توفيره).
- **start_top_log_probs** (`torch.Tensor` من الشكل `(batch_size, config.start_n_top)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) -- احتمالات اللوغاريتمية لأفضل config.start_n_top احتمالات لرموز البداية (بحث الحزمة).
- **start_top_index** (`torch.LongTensor` من الشكل `(batch_size, config.start_n_top)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) -- فهارس لأفضل config.start_n_top احتمالات لرمز البداية (بحث الحزمة).
- **end_top_log_probs** (`torch.Tensor` من الشكل `(batch_size, config.start_n_top * config.end_n_top)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) -- احتمالات السجل (Log probabilities) لأفضل `config.start_n_top * config.end_n_top` احتمالات لرموز النهاية (بحث الحزمة).
- **end_top_index** (`torch.LongTensor` من الشكل `(batch_size, config.start_n_top * config.end_n_top)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) -- فهارس لأفضل `config.start_n_top * config.end_n_top` احتمالات لرمز النهاية (بحث الحزمة).
- **cls_logits** (`torch.Tensor` من الشكل `(batch_size,)`، *اختياري*، يُعاد إذا لم يُقدَّم `start_positions` أو `end_positions`) -- احتمالات اللوغاريتمية لوسم `is_impossible` للإجابات.
- **mems** (`list[torch.Tensor]` بطول `config.n_layers`) -- تحتوي على حالات مخفية محسوبة مسبقاً. يمكن استخدامها (انظر مدخل `mems`) لتسريع فك الترميز التسلسلي. يجب عدم تمرير معرّفات الرموز التي تم تقديم ماضيها إلى هذا النموذج كـ`input_ids` لأنها تم حسابها بالفعل.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple[torch.Tensor, ...]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) من الشكل `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال:

```python
>>> from transformers import AutoTokenizer, XLNetForQuestionAnswering
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-base-cased")
>>> model = XLNetForQuestionAnswering.from_pretrained("xlnet/xlnet-base-cased")

>>> input_ids = torch.tensor(tokenizer.encode("Hello, my dog is cute", add_special_tokens=True)).unsqueeze(
...     0
... )  # Batch size 1
>>> start_positions = torch.tensor([1])
>>> end_positions = torch.tensor([3])
>>> outputs = model(input_ids, start_positions=start_positions, end_positions=end_positions)

>>> loss = outputs.loss
```

