Ë
    [^(h|\ ã                   óbV  — U d dl Z d dlZd dlmZ d dlmZ d dlmZmZ d dl	m
Z
mZ d dl	Z	d dlZd dlmc mZ d dlmZ d dlmZ d dlmZ d d	lmZmZmZ d d
lmZmZmZmZm Z m!Z!m"Z"m#Z#m$Z$m%Z%m&Z& d dl'm(Z( d dl)m*Z*m+Z+m,Z,m-Z-m.Z.m/Z/m0Z0m1Z1m2Z2m3Z3m4Z4m5Z5m6Z6m7Z7 d dl8m9Z9m:Z:m;Z;m<Z<m=Z=m>Z>m?Z? d dl@mAZA d dlBZBe j                  j†                  e jˆ                  j                  jŠ                  j†                  e jˆ                  j                  jŒ                  j†                  e jˆ                  j                  jŽ                  j†                  e jˆ                  j                  jŽ                  j†                  gZHeIeA   eJd<   e j                  j–                  e j                  j˜                  e j                  jš                  e jˆ                  j                  jŽ                  jœ                  e jˆ                  j                  jŽ                  jœ                  hZOePeQ   eJd<   g  e
j¤                  eHD � �cg c]#  } | j¦                  D �cg c]  } eT| |«      ‘Œ c}‘Œ% c}} «      ¢ZUeIeQ   eJd<   eUD �cg c]	  }|eOvsŒ|‘Œ c}ZUi ZVeWeQeXf   eJd<   eHD ]W  ZYeYj¦                  D ]F  ZZ eTeYeZ«      Z[eYj¸                  j»                  dd«      j»                  dd«      Z^e[eVvsŒ=e^› deZ› �eVe[<   ŒH ŒY  edd«      Z_ G d„ de«      ZCd„ Z` G d„ d«      Za G d„ d«      Zb G d „ d!e«      Zc G d"„ d#«      Zd G d$„ d%«      Zed&„ Zfd'„ Zgd(„ Zhd)„ Zid*„ Zjd+„ Zkd,„ Zld-„ Zmd.„ Znd/„ Zod0„ Zpd1„ Zqd2„ Zrd3„ Zsd4„ Ztd5„ Zud6„ Zvd7„ Zwd8„ Zxd9„ Zyd:„ Zzd;„ Z{d<„ Z|d=„ Z}d>„ Z~d?„ Zd@„ Z€dA„ Z�dB„ Z‚dC„ ZƒdD„ Z„dE„ Z…dF„ Z†dG„ Z‡dH„ ZˆdI„ Z‰dJ„ ZŠdK„ Z‹dL„ ZŒdM„ Z�dN„ ZŽdO„ Z�dP„ Z�dQ„ Z‘dR„ Z’dS„ Z“dT„ Z”dU„ Z•dV„ Z–dW„ Z—dX„ Z˜dY„ Z™dZ„ Zšd[„ Z›d\„ Zœd]„ Z�d^„ Zžd_„ ZŸd`„ Z da„ Z¡db„ Z¢dc„ Z£dd„ Z¤de„ Z¥df„ Z¦dg„ Z§dh„ Z¨di„ Z©dj„ Zªdk„ Z«dl„ Z¬dm„ Z­dn„ Z®do„ Z¯dp„ Z°dq„ Z±dr„ Z²ds„ Z³dt„ Z´du„ Zµdv„ Z¶dw„ Z·dx„ Z¸dy„ Z¹dz„ Zºd{„ Z»d|„ Z¼d}„ Z½dâd„Z¾d€„ Z¿d�„ ZÀd‚„ ZÁdƒ„ ZÂd„„ ZÃd…„ ZÄd†„ ZÅd‡„ ZÆdˆ„ ZÇd‰„ ZÈdŠ„ ZÉd‹„ ZÊdŒ„ ZËd�„ ZÌdŽ„ ZÍd�„ ZÎ e(e�jž                  d�d‘exr e= d’¬“«       e(e�jž                  d�d”exr e= d’¬“«       e(e�jž                  d�d•exr e= d’¬“«       e(e�jž                  d�d•exr e=e �j                   fd’¬–«       e( e&d—g«      d˜d™d’¬š«       e( e&d—g«      d›dœd’¬š«      fZÑd�„ ZÒdž„ ZÓdŸ„ ZÔd „ ZÕd¡„ ZÖd¢„ Z×e �j°                  �j²                  �jµ                  «       xr) e �j°                  �j²                  �j·                  d£d «      ZÜg  eee j                  �jº                  ev e(e%«      f¬¤«      ‘ eee j                  �j¼                  e<ew e(e%«       e(e�jž                  d�d¥ eB�j¾                  d¦«      ¬§«      f¬¨«      ‘ eee j                  �jÀ                  e<ex e( e�jÂ                  d©«      d�d¥«       e(e%«      f¬¨«      ‘ eee j                  �jÄ                  ey¬ª«      ‘ eee j                  �jÆ                  e<ez¬««      ‘ eee j                  �jÈ                  e<e{ e( e�jÂ                  d©«      d�d¥«       e(e%«      f¬¨«      ‘ eee j                  �jÊ                  es¬ª«      ‘ eee j                  �jÌ                  et e(e�jž                  d�d¥ eB�j¾                  d¦«      d’¬“«       e(e;d�e �jÎ                  gd¬¬­«      f¬¤«      ‘ eee j                  �jÐ                  eue< e( e�jÂ                  d©«      d�d¥«       e(e%«      f¬®«      ‘ eee j                  �jÒ                  d¯e| e(e�jž                  d°d± eB�j¾                  d¦«      ¬§«       e(e�jž                  d°d² eB�j¾                  d¦«      ¬§«      f¬³«      ‘ eee j                  �jÔ                  d¯e} e(ed�d¥ eB�j¾                  d¦«      ¬§«       e(e�jž                  d°d± eB�j¾                  d¦«      ¬§«       e(e�jž                  d°d² eB�j¾                  d¦«      ¬§«      f¬³«      ‘ eee j                  �jÖ                  d¯e~ e(e%«       e(e�jž                  d°d± eB�j¾                  d¦«      ¬§«       e(e�jž                  d°d² eB�j¾                  d¦«      ¬§«      f¬³«      ‘ eee j                  �jØ                  e‚ e(e�jž                  d�d´d¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �jÚ                   eed¶d~¬·«      e<d¯ e( e!d¸¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e;d�d¥d¬e �jÎ                  g¬µ«       e(e;d�d•d¬e �jÎ                  g¬µ«      f e( e#e �jÜ                  d»i«      d�d¥«      f¬¼«      ‘ eee j                  �jÞ                   eed½d~¬·«      e<d¯ e( e!d¸¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e�jž                  d�d¥d’e �jà                  g¬µ«       e(e�jž                  d�d¥d¬e �jÜ                  e �jÎ                  g¬µ«       e(e;d�d¥d¬e �jÎ                  g¬µ«       e(e;d�d•d¬e �jÎ                  g¬µ«      f e( e#e �jÜ                  d»i«      d�d¥«      f¬¼«      ‘ eee j                  �jâ                   eed¾d~¬·«      e<d¯ e( e!d¿¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e%d¬¬š«       e(e�jž                  d�d¥«      f e( e#e �jÜ                  d»i«      d�d¥«      f¬¼«      ‘ eee j                  �jä                   eed¶d~d¯¬À«      e<d¯ ee �jæ                  «       e( e!d¸¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e�jž                  d�dÁe �jæ                  fd’¬­«       e(e;d�d¥d¬e �jÎ                  g¬µ«       e(e;d�d•d¬e �jÎ                  g¬µ«      f e( e#e �jÜ                  d»i«      d�d¥«       e( e#e �jæ                  dÂi«      d�d¥«      f¬Ã«      ‘ eee j                  �jè                   eed½d~d¯¬À«      e<d¯ ee �jæ                  «       e( e!d¸¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e�jž                  d�d¥e �jê                  e �jì                  e �jî                  f¬º«       e(e�jž                  d�d¥d’e �jà                  e �jî                  g¬µ«       e(e�jž                  d�d¥d¬e �jÎ                  e �jÜ                  g¬µ«       e(e�jž                  d�dÁe �jæ                  fd’¬­«       e(e;d�d¥d¬e �jÎ                  g¬µ«       e(e;d�d•d¬e �jÎ                  g¬µ«      f e( e#e �jÜ                  d»i«      d�d¥«       e( e#e �jæ                  dÂi«      d�d¥«      f¬Ã«      ‘ eee j                  �jð                   eed¾d~d¯¬À«       ee �jæ                  «      e<d¯ e( e!d¿¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e%«       e(e�jž                  d�d¥«       e(e�jž                  d�d¥d’e �jê                  e �jì                  ge=¬Ä«       e(e�jž                  d�dÁe �jæ                  fd’¬­«      f e( e#e �jÜ                  d»i«      d�d¥«       e( e#e �jì                  d»i«      d�dÁ«       e( e#e �jæ                  dÂi«      d�d¥«      f¬Å«      ‘ eee j                  �jò                  e€ e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �jô                  e� e(e�jž                  d�d´d¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �jö                  e¬e< e(e%«       e( e�jÂ                  d©«      d�d¥«      f¬®«      ‘ eee j                  �jø                  e­e< e(e%«       e( e�jÂ                  d©«      d�d¥«      f¬®«      ‘ eee j                  �jú                  e– e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �jü                  e— e( e�jÂ                  d©«      d�d¥«       e(e:d�d•e �jÎ                  gd¬¬­«      f¬¤«      ‘ eee j                  �jþ                   eed¶d¯¬·«      e<d¯ e( e!d¸¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e$«       e(e;d�d¥d¬e �jÎ                  g¬µ«       e(e;d�d•d¬e �jÎ                  g¬µ«      f e( e#e �jÜ                  d»i«      d�d¥«      f¬¼«      ‘ eee j                  �j                    eed½d¯¬·«      e<d¯ e( e!d¸¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e$«       e(e�jž                  d�d¥d’e �jà                  g¬µ«       e(e�jž                  d�d¥d¬e �jÜ                  e �jÎ                  g¬µ«       e(e;d�d¥d¬e �jÎ                  g¬µ«       e(e;d�d•d¬e �jÎ                  g¬µ«      f e( e#e �jÜ                  d»i«      d�d¥«      f¬¼«      ‘ eee j                  �j                   eed¾d¯¬·«      e<d¯ e( e!d¿¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e$«       e(e%«       e(e�jž                  d�d¥«      f e( e#e �jÜ                  d»i«      d�d¥«      f¬¼«      ‘ eee j                  �j                   eed¶d¯d¯¬À«      e<d¯ e( e!d¸¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e$«       e(e;d�d¥d¬e �jÎ                  g¬µ«       e(e;d�d•d¬e �jÎ                  g¬µ«      f e( e#e �jÜ                  d»i«      d�d¥«      f¬¼«      ‘ eee j                  �j                   eed½d¯d¯¬À«      e<d¯ e( e!d¸¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e$«       e(e�jž                  d�d¥d’e �jà                  g¬µ«       e(e�jž                  d�d¥d¬e �jÜ                  e �jÎ                  g¬µ«       e(e;d�d¥d¬e �jÎ                  g¬µ«       e(e;d�d•d¬e �jÎ                  g¬µ«      f e( e#e �jÜ                  d»i«      d�d¥«      f¬¼«      ‘ eee j                  �j                   eed¾d¯d¯¬À«      e<d¯ e( e!d¿¬¹«      d�d¥«       e(e"d�d¥e �jÜ                  g¬º«       e(e$«       e(e%«       e(e�jž                  d�d¥«      f e( e#e �jÜ                  d»i«      d�d¥«      f¬¼«      ‘ eee j                  �j
                  ef e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �j                  eg e( ee �jÜ                   e d»d»¬Æ«      e �jà                   e d»d»¬Æ«      i«      d�dÇdÈ¬š«      g e( e�jÂ                  d©«      d�d¥«       e(e�jž                  d�dÇd¬e �jÎ                  g¬µ«      f¬É«      ‘ eee j                  �j                  e¦ e( e�jÂ                  d©«      d�d‘«       e( e�jÂ                  d©«      d�d”«      f¬¤«      ‘ eee j                  �j                  e§ e( e�jÂ                  d©«      d�d‘«       e( e�jÂ                  d©«      d�d”«       e(e�jž                  d�d¥ eB�j¾                  d¦«      d¬¬“«      f¬¤«      ‘ eee j                  �j                  e¨ e( e�jÂ                  d©«      d�d‘«       e( e�jÂ                  d©«      d�d”«       e( e�jÂ                  d©«      d�d¥«       e(e:d¬¬š«      f¬¤«      ‘ eee j                  �j                  e©¬ª«      ‘ eee j                  jœ                  eª¬ª«      ‘ eee j                  �j                  e«e< e(e:d¬¬š«      f¬®«      ‘ eee j                  �j                  eh e( e�jÂ                  d©«      d�d¥«       e( e�jÂ                  d©«      d�dÁ«       e( e�jÂ                  d©«      d�d‘«       e( e�jÂ                  d©«      d�d”«      f¬¤«      ‘ eee j                  �j                  el e( e�jÂ                  d©«      d�d¥«       e(e;d�d•d¬e �jÎ                  g¬µ«       e(e�jž                  d�dÇd¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �j                  e° e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �j                  e± e( e�jÂ                  d©«      d�d¥«       e(e:d�d¬¬š«       e( e�jÂ                  d©«      d�d”«      f¬¤«      ‘ eee j                  �j                   e² e( e�jÂ                  d©«      d�d¥«       e(e:d�d¬¬š«       e( e�jÂ                  d©«      d�d”«      f¬¤«      ‘ eee j                  �j"                  e´ e( e�jÂ                  d©«      d�d¥«       e(e�jž                  d�dÇd¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �j$                  e³ e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �j&                  ei e( e�jÂ                  d©«      d�d¥«       e(e�jž                  d�dÇd¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �j(                  ej e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �j*                  ek e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �j,                  e  e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �j.                  e¡ e( e�jÂ                  d©«      d�d¥«       e(e�jž                  d�dÇd¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �j0                  e˜ e( e�jÂ                  d©«      d�d¥«       e(e:d�e �jÎ                  gd¬¬­«      f¬¤«      ‘ eee j                  �j2                  e™ e( e�jÂ                  d©«      d�d¥«       e(e:d�e �jÎ                  gd¬¬­«      f¬¤«      ‘ eee j                  �j4                  eš ed¯d~¬Ê«       e(e�jž                  d�d¥«       e( ee �jÎ                   e dËdÌ¬Æ«      i«      d�dÇe �jÎ                  gdÈ¬­«       e(e�jž                  d�dÁe �jÎ                  gd’¬­«      f¬Í«      ‘ eee j                  �j6                  e› e( e�jÂ                  d©«      d�d¥«       e(e:d�d¬¬š«       e( e�jÂ                  d©«      d�d‘«       e( e�jÂ                  d©«      d�d”«       e( e�jÂ                  d©«      d�d•«      f¬¤«      ‘ eee j                  �j8                  e„ e(e�jž                  d�dÇd¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �j:                  eƒ¬ª«      ‘ eee j                  �j<                  eœ ed¯d¯¬Î«       e( e�jÂ                  d©«      d�dÁ«       e( ee �jÜ                   e d»d»¬Æ«      i«      d�d¥dÈ¬š«       e( e�jÂ                  d©«      d�d¥d’¬š«       e( e�jÂ                  d©«      d�d¥d¬¬š«       e( e�jÂ                  d©«      d�d‘e=d’¬“«      f¬Ï«      ‘ eee j                  �j>                  e� e(e�jž                  d�dÇd¬¬š«       e(e�jž                  d�dÐd¬¬š«       e(e�jž                  d�d¥d¬¬š«       e(e�jž                  d�d•d¬¬š«       e(e�jž                  d�dÑd¬¬š«      f¬¤«      ‘ eee j                  �j@                  ežeÜrdn) e(e�jž                  d�d¥ eB�j¾                  d¦«      d¬¬“«      fd~¬Ò«      ‘ eee j                  �jB                  eŸ¬ª«      ‘ eee j                  �jD                   ee¢d¶¬Ó«      d¯ e( e�jÂ                  d©«      d�d¥«      f¬Ô«      ‘ eee j                  �jF                   ee¢d½¬Ó«      d¯ e( e�jÂ                  d©«      d�d¥«      f¬Ô«      ‘ eee j                  �jH                   ee¢d¾¬Ó«      d¯ e(edÕd¥«       e(edÕd•«       e(edÕdÇ«       e(edÕdÖ«       e(edÕdÑ«       e( e�jÂ                  d©«      d�d¥«      f¬Ô«      ‘ eee j                  �jJ                  e¥ e(ed�d¥«       e(ed�d•«       e(ed�dÇ«       e(ed�dÐ«       e(ed�dÖ«       e(ed�dÑ«      f¬¤«      ‘ eee j                  �jL                  e£ e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �jN                  e¤¬ª«      ‘ eee j                  �jP                  d¯eµ e( e�jÂ                  d©«      d�d”dÈ¬š«      g e( e�jÂ                  d©«      d�d¥«       e(e�jž                  d�d×«      f¬Ø«      ‘ eee j                  �jR                  d¯e¶ e( ee �jÜ                   e d»d»¬Æ«      i«      d�d•dÈe>¬Ù«       e( ee �jÎ                   e d»dÚ¬Æ«      i«      d�dÇd¬¬š«       e( e�jÂ                  d©«      d�d”dÈ¬š«      g e( e�jÂ                  d©«      d�d¥«      f¬Ø«      ‘ eee j                  �jT                  e· e( e�jÂ                  d©«      d�d”dÈ¬š«      g e( e�jÂ                  d©«      d�d¥«      f¬É«      ‘ eee j                  �jV                  e¸d¯ e( e�jÂ                  d©«      d�d”dÈ¬š«      g e( e�jÂ                  d©«      d�d¥«      f¬Û«      ‘ eee j                  �jX                  d¯eº e( e�jÂ                  d©«      d�d¥«      f¬³«      ‘ eee j                  �jZ                  e¹ e( ee �jÜ                   e d»d»¬Æ«      i«      d�d•d¬¬š«      g e( e�jÂ                  d©«      d�d¥«      f¬É«      ‘ eee j                  �j\                  e…eÜrdn) e(e�jž                  d�d¥ eB�j¾                  d¦«      d¬¬“«      f¬¤«      ‘ eee j                  �j^                  e‡¬ª«      ‘ eee j                  �j`                  e† e(e%«      f¬¤«      ‘ eee j                  �jb                  eˆ e(e%«      f¬¤«      ‘ eee j                  �jd                   ee»d¯¬Ü«      eÒ¬Ý«      ‘ eee j                  �jf                  e»eÒ¬Ý«      ‘ eee j                  �jh                  e¼eÓ¬Ý«      ‘ eee j                  �jj                  e®eÜrdn) e(e�jž                  d�d¥ eB�j¾                  d¦«      d¬¬“«      f¬¤«      ‘ eee j                  �jl                  e¯ e(e�jž                  d�dÇd¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �jn                  eŠ¬ª«      ‘ eee j                  �jp                  e‹¬ª«      ‘ eee j                  �jr                  eŒ e( e�jÂ                  d©«      d�d¥«       e(e�jž                  d�dÇd¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �jt                  e� e( e�jÂ                  d©«      d�d¥«       e(e�jž                  d�dÇd¬e �jÎ                  g¬µ«      f¬¤«      ‘ eee j                  �jv                  eŽ e( e�jÂ                  d©«      d�d¥«      f¬¤«      ‘ eee j                  �jx                  e� e(e%«      f¬¤«      ‘ eee j                  �jz                  e� e(e%«      f¬¤«      ‘ eee j                  �j|                  e‘¬ª«      ‘ eee j                  �j~                  e’eÜrdn) e(e�jž                  d�d¥ eB�j¾                  d¦«      d¬¬“«      f¬¤«      ‘ eee j                  �j€                  e“eÜrdn) e(e�jž                  d�d¥ eB�j¾                  d¦«      d¬¬“«      f¬¤«      ‘ eee j                  �j‚                  e” e(e%«      f¬¤«      ‘ eee j                  �j„                  e• e(e%«      f¬¤«      ‘ eee j                  �j†                  d¯ ee¾d¯¬Ü«      eÔeÑ¬Þ«      ‘ eee j                  �jˆ                  d¯ ee¾d~¬Ü«      eÔeÑ¬Þ«      ‘ eee j                  �jŠ                  d¯e¿eÔ e(e%«      feÑ¬ß«      ‘ eee j                  �jŒ                  eÀ¬ª«      ‘ eee j                  �jŽ                  eÁe< e( e�jÂ                  d©«      d�d¥d’¬š«       e( e�jÂ                  d©«      d�d¥d¬¬š«      f¬®«      ‘ eee j                  �j�                  eÂe< e( e�jÂ                  d©«      d�d¥d’¬š«       e( e�jÂ                  d©«      d�d¥d¬¬š«      f¬®«      ‘ eee j                  �j’                  eÃ¬ª«      ‘ eee j                  �j”                  eÄe< e( e�jÂ                  d©«      d�d¥d’¬š«       e( e�jÂ                  d©«      d�d¥d¬¬š«      f¬®«      ‘ eee j                  �j–                  eÅe< e( e�jÂ                  d©«      d�d¥d’¬š«       e( e�jÂ                  d©«      d�d¥d¬¬š«      f¬®«      ‘ eee j                  �j˜                  e‰ e(e%«      f¬¤«      ‘ eee j                  �jš                  eÆ¬ª«      ‘ eee j                  �jœ                  eÇ e(e�jž                  d�d¥d¬¬š«      f¬¤«      ‘ eee j                  �jž                  eÈ e(e�jž                  d�d¥d¬¬š«      f¬¤«      ‘ eee j                  �j                   eÌeÕ¬Ý«      ‘ eee j                  �j¢                  eÍeÖ¬Ý«      ‘ eee j                  �j¤                  eÎe× e(e�jž                  d�d¥«      f¬à«      ‘ eee j                  �j¦                  eÉ¬ª«      ‘ eee j                  �j¨                  eÊ e(e�jž                  d�d¥d¬¬š«      f¬¤«      ‘ eee j                  �jª                  eË e(e�jž                  d�d¥d¬¬š«      f¬¤«      ‘�ZVeIee   eJdá<   yc c}w c c}} w c c}w )ãé    N)Údeepcopy)ÚEnum)ÚwrapsÚpartial)ÚchainÚproduct)Úpack_padded_sequence)Úmake_tensor)Ú
TEST_CUDNN)Úfloating_typesÚfloating_and_complex_types_andÚget_all_fp_dtypes)Ú_TestParametrizerÚ_update_param_kwargsÚexpectedFailureMPSÚtoleranceOverrideÚtolÚskipCUDAIfCudnnVersionLessThanÚskipCUDAIfRocmÚprecisionOverrideÚskipMetaÚskipMPSÚskipCUDAVersionIn)ÚDecorateInfo)Úcosineembeddingloss_referenceÚcross_entropy_loss_referenceÚctcloss_referenceÚhingeembeddingloss_referenceÚhuberloss_referenceÚkldivloss_referenceÚmarginrankingloss_referenceÚmultimarginloss_referenceÚmultilabelmarginloss_referenceÚnllloss_referenceÚnlllossNd_referenceÚsmoothl1loss_referenceÚsoftmarginloss_referenceÚget_reduction)Úfreeze_rng_stateÚ	skipIfMPSÚskipIfMPSOnMacOS13ÚGRADCHECK_NONDET_TOLÚTEST_WITH_ROCMÚ
IS_WINDOWSÚskipIfTorchDynamo)Ú
ModuleTypeÚMODULE_NAMESPACESÚMODULES_TO_SKIPÚMODULE_CLASSESÚMODULE_CLASS_NAMESztorch.Ú z.modulesú.ÚTrainEvalMode)Ú
train_onlyÚ	eval_onlyÚtrain_and_evalc                   ó>   — e Zd ZdZdej
                  dfd„Zd„ Zd„ Zy)ÚmoduleszQ PROTOTYPE: Decorator for specifying a list of modules over which to run a test. NTc                 óh   — t        |«      | _        |�t        |«      nd | _        || _        || _        y ©N)ÚlistÚmodule_info_listÚsetÚallowed_dtypesÚtrain_eval_modeÚskip_if_dynamo)ÚselfÚmodule_info_iterablerB   rC   rD   s        úd/var/www/skyplay_api_hub/venv/lib/python3.12/site-packages/torch/testing/_internal/common_modules.pyÚ__init__zmodules.__init__M   s5   € ä $Ð%9Ó :ˆÔØ5CÐ5Oœc .Ô1ÐUYˆÔØ.ˆÔØ,ˆÕó    c                 óX  — g }| j                   t        j                  k(  s| j                   t        j                  k(  r|j	                  d«       | j                   t        j
                  k(  s| j                   t        j                  k(  r|j	                  d«       |j                  s|d d }|S )NTFé   )rC   r7   r8   r:   Úappendr9   Útrain_and_eval_differ)rE   Úmodule_infoÚtraining_flagss      rG   Ú_get_training_flagszmodules._get_training_flagsT   s�   € ØˆØ× Ñ ¤M×$<Ñ$<Ò<Ø×$Ñ$¬×(DÑ(DÒDØ×!Ñ! $Ô'à× Ñ ¤M×$;Ñ$;Ò;Ø×$Ñ$¬×(DÑ(DÒDØ×!Ñ! %Ô(ð ×0Ò0Ø+¨B¨QÐ/ˆNàÐrI   c           
   #   óP  ‡K  — |€t        d«      ‚| j                  D �]U  }t        |j                  |j                  «      «      }| j
                  �|j                  | j
                  «      }| j                  |«      }t        ||«      D ]ç  \  }}|j                  }	t        |«      dkD  r|	d|rdnd› �z  }	d|i}
t        |
d|«       t        |
d|«       	 t        ‰«      ˆfd	„«       }| j                  r?t        j                  j                   j"                  j$                  s t'        d
«      |«      }t)        |j*                  |j,                  ‰j,                  |j                  |«      }||	|
|f–— Œé �ŒX y # t.        $ r#}t1        d|	› d|j2                  › d�«       |‚d }~ww xY w­w)Nz¨The @modules decorator is only intended to be used in a device-specific context; use it with instantiate_device_type_tests() instead of instantiate_parametrized_tests()rK   Ú_Ú
train_modeÚ	eval_moderN   ÚdtypeÚtrainingc                  ó   •—  ‰| i |¤ŽS r>   © )ÚargsÚkwargsÚtests     €rG   Útest_wrapperz/modules._parametrize_test.<locals>.test_wrapper~   s   ø€ á# TÐ4¨VÑ4Ð4rI   z/Policy: we don't run ModuleInfo tests w/ DynamozFailed to instantiate z for module ú!)ÚRuntimeErrorr@   rA   Úsupported_dtypesÚdevice_typerB   ÚintersectionrP   r   Úformatted_nameÚlenr   r   rD   ÚtorchÚtestingÚ	_internalÚcommon_utilsÚTEST_WITH_TORCHINDUCTORr/   r   Úget_decoratorsÚ__name__Ú	ExceptionÚprintÚname)rE   r[   Úgeneric_clsÚ
device_clsrN   ÚdtypesrO   rV   rU   Ú	test_nameÚparam_kwargsr\   Údecorator_fnÚexs    `            rG   Ú_parametrize_testzmodules._parametrize_testd   s»  øè ø€ ØÐÜð  Bó Cð Cð  ×0Ñ0ó "	ˆKÜ˜×5Ñ5°j×6LÑ6LÓMÓNˆFØ×"Ñ"Ð.Ø×,Ñ,¨T×-@Ñ-@ÓA�à!×5Ñ5°kÓBˆNÜ%,¨^¸VÓ%Dò Ñ!�˜5ð (×6Ñ6�	Ü�~Ó&¨Ò*Ø 1±X¡\À;Ð$OÐ!PÑP�Ið !.¨{Ð;�Ü$ \°7¸EÔBÜ$ \°:¸xÔHðä˜4“[ó5ó !ð5ð ×*Ò*´5·=±=×3JÑ3J×3WÑ3W×3oÒ3oØ'kÔ'8Ð9jÓ'kÐlxÓ'y˜ä#*¨;×+EÑ+EÀ{×G[ÑG[Ø+/¯=©=¸*×:PÑ:PÐRWó$Y�Lð (¨°LÀ,ÐOÓOò1ñ"	øô> !ò äÐ2°9°+¸\È+×JZÑJZÐI[Ð[\Ð]Ô^Ø�Hûðüs+   ƒCF&ÃBE7Å1F&Å7	F#Æ FÆF#Æ#F&)	rj   Ú
__module__Ú__qualname__Ú__doc__r7   r:   rH   rP   ru   rX   rI   rG   r<   r<   J   s"   „ Ù[à<@Ø!.×!=Ñ!=Èdó-òó (rI   r<   c                 ó<   — | t         v r	t         |    S | j                  S r>   )r4   rj   )Ú
module_clss    rG   Úget_module_common_namer{   �   s"   € ØÔ'Ñ'ä! *Ñ-Ð-à×"Ñ"Ð"rI   c                   ó   — e Zd ZdZddgZd„ Zy)ÚFunctionInputz: Contains args and kwargs to pass as input to a function. rY   rZ   c                 ó    — || _         || _        y r>   )rY   rZ   )rE   rY   rZ   s      rG   rH   zFunctionInput.__init__›   s   € ØˆŒ	Øˆ�rI   N©rj   rv   rw   rx   Ú	__slots__rH   rX   rI   rG   r}   r}   —   s   „ ÙDØ˜Ð"€IórI   r}   c                   ó    — e Zd ZdZg d¢Zdd„Zy)ÚModuleInputzA Contains args / kwargs for module instantiation + forward pass. ©Úconstructor_inputÚforward_inputÚdescÚreference_fnNc                 óx   ‡— || _         || _        || _        ‰| _        ‰�t	        ‰«      ˆfd„«       }|| _        y y )Nc                 óx   •— t        |«      t        |«      }} ‰| t        | j                  «       «      g|¢­i |¤ŽS r>   )r   r?   Ú
parameters)ÚmrY   rZ   r‡   s      €rG   Úcopy_reference_fnz/ModuleInput.__init__.<locals>.copy_reference_fn¬   s;   ø€ ô  (¨›~¬x¸Ó/?�f�ñ $ A¤t¨A¯L©L«NÓ';ÐM¸dÒMÀfÑMÐMrI   )r„   r…   r†   r‡   r   )rE   r„   r…   r†   r‡   rŒ   s       ` rG   rH   zModuleInput.__init__¤   sP   ø€ Ø!2ˆÔØ*ˆÔØˆŒ	Ø(ˆÔàÐ#ä�<Ó óNó !ðNð !2ˆDÕð $rI   )Nr5   Nr   rX   rI   rG   r‚   r‚       s   „ ÙKÚN€Iô2rI   r‚   c                   ó   — e Zd ZdZdZdZy)ÚModuleErrorEnumz7 Enumerates when error is raised when testing modules. r   rK   N)rj   rv   rw   rx   ÚCONSTRUCTION_ERRORÚFORWARD_ERRORrX   rI   rG   rŽ   rŽ   ¶   s   „ ÙAØÐØ�MrI   rŽ   c                   ó:   — e Zd ZdZg d¢Zej                  edœd„Zy)ÚErrorModuleInputzw
    A ModuleInput that will cause the operation to throw an error plus information
    about the resulting error.
    ©Úmodule_error_inputÚerror_onÚ
error_typeÚerror_regex)r•   r–   c                ó<   — || _         || _        || _        || _        y r>   r“   )rE   r”   r•   r–   r—   s        rG   rH   zErrorModuleInput.__init__Ã   s"   € ð #5ˆÔØ ˆŒØ$ˆŒØ&ˆÕrI   N)	rj   rv   rw   rx   r€   rŽ   r�   r^   rH   rX   rI   rG   r’   r’   »   s"   „ ñò
 P€Ið
 *×<Ñ<Ø(õ		'rI   r’   c                   ó¾   — e Zd ZdZdd e«       ej                  ej                  fej                  ej                  fdddddddœd„Z	d	„ Z
d
„ Zed„ «       Zed„ «       Zy)Ú
ModuleInfoz+ Module information to be used in testing. rX   NTç        F)ÚskipsÚ
decoratorsrp   ÚdtypesIfMPSÚdtypesIfHpuÚsupports_gradgradÚgradcheck_nondet_tolÚmodule_memformat_affects_outrM   Úmodule_error_inputs_funcÚgradcheck_fast_modec                ó@  — || _         || _        g |r|ng ¢|r|ng ¢­| _        || _        || _        || _        || _        |	| _        |
| _        || _	        || _
        || _        t        |t        j                  j                  j                   j"                  «      | _        y r>   )rz   Úmodule_inputs_funcr�   rp   rž   rŸ   r    r¡   r¢   rM   r£   r¤   Ú
issubclassrd   Únnr<   ÚlazyÚLazyModuleMixinÚis_lazy)rE   rz   r¦   rœ   r�   rp   rž   rŸ   r    r¡   r¢   rM   r£   r¤   s                 rG   rH   zModuleInfo.__init__Ò   s˜   € ð& %ˆŒØ"4ˆÔØZ©:™Z¸2ÐZÉ5Á%ÐVXÑZˆŒØˆŒØ&ˆÔØ&ˆÔØ!2ˆÔØ$8ˆÔ!Ø,HˆÔ)Ø%:ˆÔ"Ø(@ˆÔ%Ø#6ˆÔ Ü! *¬e¯h©h×.>Ñ.>×.CÑ.C×.SÑ.SÓTˆ�rI   c                 óÒ   — g }| j                   D ]U  }t        |t        «      r2|j                  |||||«      sŒ)|j	                  |j                   «       ŒE|j                  |«       ŒW |S r>   )r�   Ú
isinstancer   Ú	is_activeÚextendrL   )rE   Ú
test_classrq   ÚdevicerU   rr   ÚresultÚ	decorators           rG   ri   zModuleInfo.get_decoratorsó   s_   € ØˆØŸ™ò 	)ˆIÜ˜)¤\Ô2Ø×&Ñ& z°9¸fÀeÈ\ÕZØ—M‘M )×"6Ñ"6Õ7à—‘˜iÕ(ð	)ð ˆrI   c                 ó^   — |dk(  r| j                   S |dk(  r| j                  S | j                  S )NÚmpsÚhpu)rž   rŸ   rp   )rE   r`   s     rG   r_   zModuleInfo.supported_dtypesý   s4   € Ø˜%ÒØ×#Ñ#Ð#Ø˜EÒ!Ø×#Ñ#Ð#à—;‘;ÐrI   c                 ó,   — t        | j                  «      S r>   )r{   rz   ©rE   s    rG   rm   zModuleInfo.name  s   € ä% d§o¡oÓ6Ð6rI   c                 ó:   — | j                   j                  dd«      S )Nr6   rR   )rm   Úreplacer¸   s    rG   rb   zModuleInfo.formatted_name	  s   € à�y‰y× Ñ   cÓ*Ð*rI   )rj   rv   rw   rx   r   rd   Úfloat16Úfloat32Úbfloat16rH   ri   r_   Úpropertyrm   rb   rX   rI   rG   rš   rš   Ï   s~   „ Ù5ð Ø Ù&Ó(Ø#Ÿm™m¨U¯]©]Ð<Ø#Ÿn™n¨e¯m©mÐ=Ø#'Ø&)Ø.3à',Ø*.Ø%)ôUòBòð ñ7ó ð7ð ñ+ó ñ+rI   rš   c           
      ó$  — t        t        |||¬«      }t        t        dd«      t         |d«      ¬«      d„ ¬«      t        t        ddd¬	«      t         |d«      «      d
d„ ¬«      t        t        dd«      t         |d«      «      dd„ ¬«      g}|S )N©r±   rU   Úrequires_gradé
   é   ©é   rÂ   )Úinputc                 óœ   — t        j                  ||d   j                  «       «      |d   j                  dd«      j	                  dd«      z   S )Nr   rK   éÿÿÿÿrÅ   rÃ   )rd   ÚmmÚtÚviewÚexpand)r‹   ÚprÆ   s      rG   ú<lambda>z/module_inputs_torch_nn_Linear.<locals>.<lambda>  sE   € ´U·X±X¸eÀQÀqÁTÇVÁVÃXÓ5NÐQRÐSTÑQU×QZÑQZÐ[\Ð^`ÓQa×QhÑQhÐijÐlmÓQnÑ5n€ rI   ©r„   r…   r‡   F©ÚbiasÚno_biasc                 óP   — t        j                  ||d   j                  «       «      S )Nr   )rd   rÉ   rÊ   ©r‹   rÍ   Úis      rG   rÎ   z/module_inputs_torch_nn_Linear.<locals>.<lambda>  s   € ´·±¸!¸Q¸q¹T¿V¹V»XÓ1F€ rI   rƒ   é   é   Úno_batch_dimc                 óš   — t        j                  |j                  dd«      |d   j                  «       «      j                  d«      |d   z   S )NrK   rÈ   r   )rd   rÉ   rË   rÊ   rÔ   s      rG   rÎ   z/module_inputs_torch_nn_Linear.<locals>.<lambda>  s=   € ´·±¸!¿&¹&ÀÀB»-ÈÈ1ÉÏÉËÓ1R×1WÑ1WÐXZÓ1[Ð^_Ð`aÑ^bÑ1b€ rI   ©r   r
   r‚   r}   )rN   r±   rU   rÁ   rV   rZ   Ú
make_inputÚmodule_inputss           rG   Úmodule_inputs_torch_nn_LinearrÝ     s•   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°B¸Ó&:Ü"/±jÀÓ6IÔ"JÙ!nô	pô 	¤m°B¸ÀÔ&FÜ"/±
¸7Ó0CÓ"DØ"Ù!Fô	Hô 	¤m°A°qÓ&9Ü"/±
¸1³Ó">Ø'Ù!bô	dð€Mð ÐrI   c                 ób  ‡— t        t        |||¬«      }dd„Št        t        ddd«      t         |d«       |d«      «      ‰¬«      t        t        dddd	¬
«      t         |d«       |d«      «      dˆfd„¬«      t        t        ddd«      t         |d«       |d«      «      dˆfd„¬«      g}|S )NrÀ   c                 ó   — t        j                  d||d   |«      }|rp|j                  d   dk(  r|j                  d«      |d   z   }|S ||d   j                  dd«      j	                  |j                  d   |d   j                  d   «      z   }|S )Nzbn,anm,bm->bar   rK   rÈ   )rd   ÚeinsumÚshaperË   rÌ   )r‹   rÍ   Úx1Úx2rÑ   r²   s         rG   Úbilinear_reference_fnz>module_inputs_torch_nn_Bilinear.<locals>.bilinear_reference_fn&  sŒ   € Ü—‘˜o¨r°1°Q±4¸Ó<ˆÙØ�x‰x˜‰{˜aÒØŸ™ R›¨1¨Q©4Ñ/�ð ˆð   ! A¡$§)¡)¨A¨rÓ"2×"9Ñ"9¸"¿(¹(À1¹+ÀqÈÁtÇzÁzÐRSÁ}Ó"UÑU�ØˆrI   é   rÖ   rÅ   )rÃ   rå   )rÃ   rÖ   rÏ   FrÐ   rÒ   c                 ó   •—  ‰| |||d¬«      S )NFrÐ   rX   ©r‹   rÍ   râ   rã   rä   s       €rG   rÎ   z1module_inputs_torch_nn_Bilinear.<locals>.<lambda>6  s   ø€ Ñ6KÈAÈqÐRTÐVXÐ_dÔ6e€ rI   rƒ   rØ   c           	      óZ   •—  ‰| ||j                  dd«      |j                  dd«      «      S )NrK   rÈ   )rË   rç   s       €rG   rÎ   z1module_inputs_torch_nn_Bilinear.<locals>.<lambda>:  s3   ø€ Ñ6KÈAÈqÐRT×RYÑRYÐZ[Ð]_ÓR`Ðbd×biÑbiÐjkÐmoÓbpÓ6q€ rI   )TrÚ   )	rN   r±   rU   rÁ   rV   rZ   rÛ   rÜ   rä   s	           @rG   Úmodule_inputs_torch_nn_Bilinearré   #  s´   ø€ Üœ¨V¸5ÐP]Ô^€Jóô 	¤m°A°q¸!Ó&<Ü"/±
¸6Ó0BÁJÈvÓDVÓ"WØ!6ô	8ô 	¤m°A°q¸!À%Ô&HÜ"/±
¸6Ó0BÁJÈvÓDVÓ"WØ"Û!eô	gô 	¤m°A°q¸!Ó&<Ü"/±
¸1³¹zÈ!»}Ó"MØ'Û!qô	sð€Mð ÐrI   c           
      ób  — t        t        |||¬«      }di fdddifdddifddd	ifd
d
difg}g }|D ]û  \  }	}
|
fd„} |d«      j                  «       }|j                  d
d«      r |d«      n |d«      j                  «       }|j	                  t        t        di |
¤Žt        ||«      |	|¬«      «        |d«      j                  «       }|j                  d
d«      r |d«      n |d«      j                  «       }|j	                  t        t        di |
¤Žt        ||«      d|	z   |¬«      «       Œý |S )NrÀ   r5   Úreduction_sumÚ	reductionÚsumÚreduction_batchmeanÚ	batchmeanÚreduction_noneÚnoneÚ
log_targetTc                 ó   — t        ||fi |¤ŽS r>   )r    ©r‹   rÍ   rÕ   rÊ   Úconstructor_kwargss        rG   r‡   z6module_inputs_torch_nn_KLDivLoss.<locals>.reference_fnM  ó   € Ü& q¨!ÑBÐ/AÑBÐBrI   ©rÂ   rÂ   Frƒ   rX   Úscalar_)r   r
   ÚlogÚgetrL   r‚   r}   )rN   r±   rU   rÁ   rV   rZ   rÛ   ÚcasesrÜ   r†   rõ   r‡   rÆ   ÚtargetÚscalar_inputÚscalar_targets                   rG   Ú module_inputs_torch_nn_KLDivLossrÿ   @  sh  € Üœ¨V¸5ÐP]Ô^€Jð 
ˆRˆØ	˜;¨Ð.Ð/Ø	 ¨kÐ :Ð;Ø	˜K¨Ð0Ð1Ø	˜ dÐ+Ð,ð%€Eð €MØ$)ò 
Ñ ˆÐ Ø8Jó 	Cñ ˜8Ó$×(Ñ(Ó*ˆØ)/¯©°LÀ%Ô)H‘˜HÔ%ÉjÐYaÓNb×NfÑNfÓNhˆØ×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3°E¸6Ó&BØ!Ø%1ô3ô	
ñ " "“~×)Ñ)Ó+ˆð %Ÿj™j¨°uÔ=‰J�rŒNÁ:ÈbÃ>×CUÑCUÓCWð 	ð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3°LÀ,Ó&OØ&¨Ñ-Ø%1ô3õ	
ð%
ð2 ÐrI   c                 ót  — |||fd„}t        t        ||d¬«      }di fdddifddd	ifd
d
difdd |d«      j                  «       ifd |d«      j                  «       ddœfd |d«      j                  «       ddœfg}g }	|D �]4  \  }
}|fd„}|	j                  t	        t        d i |¤Žt         |d«      t        j                  d|¬«      j                  «       j                  d«      j                  «       j                  «       «      |
|¬«      «       |fd„}|	j                  t	        t        d i |¤Žt         |d«      t        j                  ddd|¬«      j                  «       j                  d«      j                  «       j                  «       «      d|
› �|¬«      «       |	j                  t	        t        d i |¤Žt         |d«      t        j                  ddddd|¬«      j                  «       j                  d«      j                  «       j                  «       «      d|
› �|¬«      «       |	j                  t	        t        d i |¤Žt         |d«      t        j                  dd|¬«      j                  «       j                  d«      j                  «       j                  «       «      d|
› �|¬«      «       �Œ7 |	S )!Nc                 ó^   — t        | ||d¬«      j                  d¬«      j                  |«      S )NFrÀ   rK   ©Údim)r
   Úlog_softmaxÚrequires_grad_)rá   r±   rU   rÁ   s       rG   rÛ   z2module_inputs_torch_nn_NLLLoss.<locals>.make_inputi  s/   € Ü˜5¨°uØ).ô0ß0;±À°Ó0BÇ>Á>ÐR_ÓC`ð	arI   FrÀ   r5   rë   rì   rí   rð   rñ   Úignore_indexrå   ÚweightsÚweightrÅ   Úweights_ignore_index)r  r  Úweights_ignore_index_negrÈ   c                 ó   — t        ||fi |¤ŽS r>   )r$   rô   s        rG   r‡   z4module_inputs_torch_nn_NLLLoss.<locals>.reference_fn  s   € Ü$ Q¨Ñ@Ð-?Ñ@Ð@rI   )é   rÅ   r  ©r±   rƒ   c                 ó   — t        ||fi |¤ŽS r>   )r%   rô   s        rG   Únd_reference_fnz7module_inputs_torch_nn_NLLLoss.<locals>.nd_reference_fnŠ  rö   rI   )rå   rÅ   r×   r×   r×   Únd_)rå   rÅ   r×   r×   rå   rå   Úhigher_dim_)rå   rÅ   r×   Ú3d_rX   )r   r
   ÚabsrL   r‚   r}   rd   ÚemptyÚuniform_ÚmulÚfloorÚlong)rN   r±   rU   rÁ   rV   rZ   rÛ   Úmake_weightrû   rÜ   r†   rõ   r‡   r  s                 rG   Úmodule_inputs_torch_nn_NLLLossr  h  sÅ  € Ø!'¨uÀMó aô œ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜.¨!Ð,Ð-Ø	�X™{¨1›~×1Ñ1Ó3Ð4Ð5Ø	©K¸«N×,>Ñ,>Ó,@ÐRSÑ!TÐUØ	#±¸A³×0BÑ0BÓ0DÐVXÑ%YÐZð%€Eð €MØ$)ó )
Ñ ˆÐ à8Jó 	Að 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸wÓ4GÜ49·K±KÀÈ6Ô4R×4[Ñ4[Ó4]×4aÑ4aÐbcÓ4d×4jÑ4jÓ4l×4qÑ4qÓ4só'uà!Ø%1ô	3ô	
ð <Nó 	Cð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3Ù& |Ó4Ü!ŸK™K¨¨1¨a¸Ô?×HÑHÓJ×NÑNÈqÓQ×WÑWÓY×^Ñ^Ó`ó'bð  # 4 &˜\Ø%4ô6ô	
ð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3Ù&Ð'9Ó:Ü!ŸK™K¨¨1¨a°°A¸fÔE×NÑNÓP×TÑTÐUVÓW×]Ñ]Ó_×dÑdÓfó'hð  +¨4¨&Ð1Ø%4ô6ô	
ð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3Ù& yÓ1Ü!ŸK™K¨¨1°VÔ<×EÑEÓG×KÑKÈAÓN×TÑTÓV×[Ñ[Ó]ó'_ð  # 4 &˜\Ø%4ô6ö	
ðE)
ðV ÐrI   c                 ó>  — t        t        |||¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifg}g }	|D ][  \  }
}|	j                  t        t	        di |¤Žt	         |d«       |d«       |d«      j                  «       «      |
t        ¬«      «       Œ] |	S )NrÀ   Fr5   rë   rì   rí   Úreduction_meanÚmeanrð   rñ   rÖ   rK   rƒ   rX   )r   r
   rL   r‚   r}   r  Úno_batch_dim_reference_fn)rN   r±   rU   rÁ   rV   rZ   rÛ   Úmake_targetrû   rÜ   r†   rõ   s               rG   Ú&module_inputs_torch_nn_GaussianNLLLossr   «  sÏ   € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1ð	%€Eð €MØ$)ò 
Ñ ˆÐ Ø×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸q³MÙ4?À³NÙ4>¸q³M×4EÑ4EÓ4Gó'Ið "Ü%>ô@õ	
ð
ð ÐrI   c                 óò  ‡— t        t        |||¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifdddifdddifddddœfg}dd„Šg }	|D ]   \  }
}|fˆfd„	}|j                  dd«      }|r |d«      n$ |d«      j                  «       j	                  d«      }|	j                  t        t        di |¤Žt        | |d«      j                  «       j                  «       «      |
|¬«      «       Œ¢ |	S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   ÚfullTÚno_log_inputÚ	log_inputÚfull_no_log_input)r"  r$  c                 óÔ  — |r#| j                  «       |j                  | «      z
  }n%| |j                  | |z   j                  «       «      z
  }|r`||j                  |j                  «       «      |z
  ddt        j                  z  |z  j                  «       z  z   j                  |dk  d«      z  }|dk(  r|S |dk(  r!|j                  «       | j                  «       z  S |j                  «       S )Nç      à?ç       @rK   r   rñ   r  )Úexpr  rù   ÚmathÚpiÚmasked_fillrí   Únumel)rÕ   rÊ   r$  r"  rì   Úepsr²   s          rG   Úpoissonnllloss_reference_fnzJmodule_inputs_torch_nn_PoissonNLLLoss.<locals>.poissonnllloss_reference_fnÒ  sÇ   € ÙØ—U‘U“W˜qŸu™u Q›xÑ'‰Fà˜Ÿ™  C¡Ÿ}™}›Ó/Ñ/ˆFáØ�q—u‘u˜QŸU™U›W“~¨Ñ)¨C°2¼¿¹±<À!Ñ3C×2HÑ2HÓ2JÑ,JÑJ×WÑWÐXYÐ]^ÑX^Ð`aÓbÑbˆFà˜ÒØˆMØ˜&Ò Ø—:‘:“< !§'¡'£)Ñ+Ð+à—:‘:“<ÐrI   c                 ó   •—  ‰||fi |¤ŽS r>   rX   )r‹   rÍ   rÕ   rÊ   rõ   r/  s        €rG   r‡   z;module_inputs_torch_nn_PoissonNLLLoss.<locals>.reference_fnä  s   ø€ Ù.¨q°!ÑJÐ7IÑJÐJrI   ©rå   rÖ   rÅ   r×   çü©ñÒMbP?rƒ   )TFr  g:Œ0âŽyE>rX   )
r   r
   rú   r  ÚaddrL   r‚   r}   Úfloor_Úabs_)rN   r±   rU   rÁ   rV   rZ   rÛ   r  rû   rÜ   r†   rõ   r‡   r$  rÆ   r/  s                  @rG   Ú%module_inputs_torch_nn_PoissonNLLLossr6  Ä  s<  ø€ Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1Ø	�&˜$�Ð Ø	˜+ uÐ-Ð.Ø	 t¸%Ñ@ÐAð%€Eó ð  €MØ$)ò 
Ñ ˆÐ Ø8Jõ 	Kð '×*Ñ*¨;¸Ó=ˆ	Ù,5‘
˜<Ô(¹:ÀlÓ;S×;WÑ;WÓ;Y×;]Ñ;]Ð^cÓ;dˆØ×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3°EÙ4?ÀÓ4M×4TÑ4TÓ4V×4[Ñ4[Ó4]ó'_à!Ø%1ô	3õ	
ð
ð ÐrI   c                 ó¼  — t        t        |||¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifg}dd„}	g }
|D ]–  \  }}|
j                  t        t	        di |¤Žt	         |d«       |d«      «      |t        |	fi |¤Ž¬«      «       |
j                  t        t	        di |¤Žt	         |d«       |d«      «      |› d�t        |	fi |¤Ž¬«      «       Œ˜ |
S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   c                 óè   — |dk(  r||z
  j                  d«      S |dk(  r3||z
  j                  d«      j                  «       |j                  «       z  S ||z
  j                  d«      j                  «       S )Nrñ   rå   r  )Úpowrí   r-  )r‹   rÍ   rÕ   rÊ   rì   s        rG   Úmse_loss_reference_fnz=module_inputs_torch_nn_MSELoss.<locals>.mse_loss_reference_fnÿ  se   € Ø˜ÒØ˜‘E—;‘;˜q“>Ð!Ø˜&Ò Ø˜‘E—;‘;˜q“>×%Ñ%Ó'¨!¯'©'«)Ñ3Ð3à˜‘E—;‘;˜q“>×%Ñ%Ó'Ð'rI   r1  rƒ   rX   Ú_scalar)r  ©r   r
   rL   r‚   r}   )rN   r±   rU   rÁ   rV   rZ   rÛ   r  rû   r:  rÜ   r†   rõ   s                rG   Úmodule_inputs_torch_nn_MSELossr=  ô  s#  € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1ð	%€Eó(ð €MØ$)ò 
Ñ ˆÐ Ø×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸|Ó4LÙ4?ÀÓ4Mó'Oà!Ü%,Ð-BÑ%YÐFXÑ%Yô	[ô	
ð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸r³NÙ4?À³Oó'Eà $˜v WÐ-Ü%,Ð-BÑ%YÐFXÑ%Yô	[õ	
ð
ð  ÐrI   c                 óâ  ‡— ˆfd„} |dd«      rdnd} |dd«      } |dd	«      }|�Kt        |t        «      sJ ‚‰j                  «       D ]&  \  }}	||v sŒ|	€Œ||   }
|	j                  |
«      ‰|<   Œ( |D �cg c]  }|j                  |«      ‘Œ }}t	        «       5   | |i ‰¤Žj                  |«      }ddd«       |r!t        | «      }|d
k(  rj                  d«      S S c c}w # 1 sw Y   Œ3xY w)aÏ  Reference function for modules supporting no batch dimensions.

    Unbatched inputs are unsqueezed to form a
    single batch input before passing them to the module.
    The output is squeezed to compare with the
    output of unbatched input to the module.

    Currently it only supports modules which return a single Tensor as output.
    You can bind the following kwargs.
    Kwargs:
        batch_first[bool] : If True, all the Tensors in `args` while be unsqueezed at dim `0` .
                        and output will be squeezed at dim `0` else dim `1` for both.
        kwargs_to_batchify[dict] : Dictionary specifying the name of the argument and dimension to unsqueeze.
                               Useful if there are few arguments whose batch dimension are different
                               from the ones selected by `batch_first`.
        is_criterion[bool] : Specify if the module is a criterion and handle the reduction for output accordingly.
    c                 óV   •— ‰j                  | |«      }| ‰v r‰j                  | «       |S r>   )rú   Úpop)ÚkeyÚdefaultÚvrZ   s      €rG   Úget_and_popz.no_batch_dim_reference_fn.<locals>.get_and_pop-  s*   ø€ Ø�J‰J�s˜GÓ$ˆØ�&‰=Ø�J‰J�sŒOØˆrI   Úbatch_firstTr   rK   Úkwargs_to_batchifyNÚis_criterionFrñ   )r­   ÚdictÚitemsÚ	unsqueezer)   Úsqueezer(   )r‹   rÍ   rY   rZ   rD  Ú	batch_dimrF  rG  ÚkrC  ÚbdimrÆ   Úsingle_batch_input_argsÚoutputrì   s      `           rG   r  r    s  ø€ ô$ñ ! °Ô5‘¸1€IÙ$Ð%9¸4Ó@ÐÙ˜~¨uÓ5€LàÐ%ÜÐ,¬dÔ3Ð3Ð3Ø—L‘L“Nò 	.‰DˆAˆqØÐ&Ò&¨1©=Ø)¨!Ñ,�ØŸK™K¨Ó-��q’	ð	.ð
 HLÖL¸e˜uŸ™¨yÕ9ÐLÐÐLÜ	Ó	ñ JÙÐ+Ð6¨vÑ6×>Ñ>¸yÓIˆ÷Jñ Ü! !Ó$ˆ	Ø˜ÒØ—>‘> !Ó$Ð$Ø€Mùò M÷Jð Jús   Á7C ÂC%Ã%C.c                 ó~  — |j                  dd«      rdnd}d|v r|j                  d«       d|v r|d   �|d   j                  d«      |d<   |D �cg c]  }|j                  |«      ‘Œ }}t        «       5   | |i |¤Ž}|d   j	                  |«      |d   j	                  d«      fcddd«       S c c}w # 1 sw Y   yxY w)a  Reference function for MultiheadAttention supporting no batch dimensions.

    Unbatched inputs are unsqueezed to form a
    single batch input before passing them to the module.
    The output is squeezed to compare with the
    output of unbatched input to the module.
    rE  Tr   rK   Úkey_padding_maskN)rú   r@  rJ  r)   rK  )r‹   rÍ   rY   rZ   rL  rÆ   rO  rP  s           rG   Úno_batch_dim_reference_mharS  I  sÙ   € ð —Z‘Z ¨tÔ4‘¸!€IØ˜ÑØ�
‰
�=Ô!Ø˜VÑ#¨Ð/AÑ(BÐ(NØ%+Ð,>Ñ%?×%IÑ%IÈ!Ó%LˆÐ!Ñ"ØGKÖL¸e˜uŸ™¨yÕ9ÐLÐÐLÜ	Ó	ñ DÙÐ+Ð6¨vÑ6ˆØ�q‘	×!Ñ! )Ó,¨f°Q©i×.?Ñ.?ÀÓ.BÐC÷Dñ Dùò M÷Dð Dús   ÁB.Á40B3Â3B<c                 ór  — t        |«      dk(  r|\  }d}n$t        |«      dk(  r|\  }}|j                  d«      }|d   rdnd}|j                  d«       j                  |«      }|f}t        «       5   | |i |¤Ž}|d   j	                  |«      |d   j	                  d«      fcddd«       S # 1 sw Y   yxY w)a  Reference function for RNN and GRU supporting no batch dimensions.

    Unbatched inputs are unsqueezed to form a
    single batch input before passing them to the module.
    The output is squeezed to compare with the
    output of unbatched input to the module.
    rK   Nrå   rE  r   ©rc   rJ  r@  r)   rK  ©	r‹   rÍ   rY   rZ   ÚinpÚhrL  rO  rP  s	            rG   Úno_batch_dim_reference_rnn_grurY  \  sÃ   € ô ˆ4ƒy�A‚~Ø‰ˆØ‰Ü	ˆT‹�aŠØ‰ˆˆQØ�K‰K˜‹Nˆà˜MÒ*‘°€IØ
‡J�Jˆ}ÔØ
�-‰-˜	Ó
"€CØ" A˜hÐÜ	Ó	ñ DÙÐ+Ð6¨vÑ6ˆØ�q‘	×!Ñ! )Ó,¨f°Q©i×.?Ñ.?ÀÓ.BÐC÷D÷ Dò Dús   Á30B-Â-B6c                 óÔ  — t        |«      dk(  r|\  }d}n;t        |«      dk(  r-|\  }}|d   j                  d«      |d   j                  d«      f}|d   rdnd}|j                  d«       j                  |«      }|f}t        «       5   | |i |¤Ž}|d   j	                  |«      |d   d   j	                  d«      |d   d   j	                  d«      ffcddd«       S # 1 sw Y   yxY w)a  Reference function for LSTM supporting no batch dimensions.

    Unbatched inputs are unsqueezed to form a
    single batch input before passing them to the module.
    The output is squeezed to compare with the
    output of unbatched input to the module.
    rK   Nrå   r   rE  rU  rV  s	            rG   Úno_batch_dim_reference_lstmr[  t  sø   € ô ˆ4ƒy�A‚~Ø‰ˆØ‰Ü	ˆT‹�aŠØ‰ˆˆQØˆq‰T�^‰^˜AÓ  !¡§¡¨qÓ 1Ð2ˆà˜MÒ*‘°€IØ
‡J�Jˆ}ÔØ
�-‰-˜	Ó
"€CØ" A˜hÐÜ	Ó	ñ bÙÐ+Ð6¨vÑ6ˆØ�q‘	×!Ñ! )Ó,¨v°a©y¸©|×/CÑ/CÀAÓ/FÈÈqÉ	ÐRSÉ×H\ÑH\Ð]^ÓH_Ð.`Ða÷b÷ bò bús   Â
A
CÃC'c                 ó  — |\  }\  }}|j                  d«      |j                  d«      |j                  d«      ff}t        «       5   | |i |¤Ž}|d   j                  d«      |d   j                  d«      fcddd«       S # 1 sw Y   yxY w)zÖReference function for LSTMCell supporting no batch dimensions.

    The module is passed the input and target in batched form with a single item.
    The output is squeezed to compare with the no-batch input.
    r   rK   N)rJ  r)   rK  )	r‹   rÍ   rY   rZ   rW  rX  ÚcrO  rP  s	            rG   Úno_batch_dim_reference_lstmcellr^  Œ  s‹   € ð �K€C‰ˆ!ˆQØ"Ÿ}™}¨QÓ/°!·+±+¸a³.À!Ç+Á+ÈaÃ.Ð1QÐRÐÜ	Ó	ñ <ÙÐ+Ð6¨vÑ6ˆØ�q‘	×!Ñ! !Ó$ f¨Q¡i×&7Ñ&7¸Ó&:Ð;÷<÷ <ò <ús   Á0B Â B	c                 óª   — dD �cg c]C  }t        t        |¬«      t         | d«       | d«      «      t        t        d¬«      d|› �¬«      ‘ŒE c}S c c}w )	N)rñ   r  rí   )rì   ©rÅ   rÅ   T©rG  Úno_batch_dim_©r„   r…   r‡   r†   )r‚   r}   r   r  )rÛ   rì   s     rG   Ú$generate_regression_criterion_inputsrd  ™  s[   € ð 3ö4ð ô 	Ü+°iÔ@Ü'©
°5Ó(9¹:Àa»>ÓJÜ Ô!:ÈÔNØ   Ð,ö		
ò4ð 4ùò 4s   …AAc                 ód  — t        t        |||¬«      }t        t        d¬«      t         |d«      «      dt        ¬«      t        t        d«      t         |d«      «      ¬«      t        t        d	d	«      t         |d«      «      d
¬«      t        t        ddd«      t         |d«      «      d¬«      gS )NrÀ   rå   )Úkernel_size)rÖ   é   rØ   rƒ   )rå   rÖ   rg  ©r„   r…   ©rå   Ústride©r„   r…   r†   rK   Ú
stride_pad©r   r
   r‚   r}   r  ©rN   r±   rU   rÁ   rV   rZ   rÛ   s          rG   Ú module_inputs_torch_nn_AvgPool1dro  £  s¦   € Üœ¨V¸5ÐP]Ô^€Jô 	¤mÀÔ&BÜ"/±
¸6Ó0BÓ"CØ'Ü!:ô	<ô 	¤m°AÓ&6Ü"/±
¸9Ó0EÓ"Fô	Hä¤m°D¸$Ó&?Ü"/±
¸9Ó0EÓ"FØ!ô	#ô 	¤m°A°q¸!Ó&<Ü"/±
¸9Ó0EÓ"FØ%ô	'ð(ð (rI   c                 óR  — t        t        |||¬«      }t        t        d«      t         |d«      «      dt        ¬«      t        t        d«      t         |d«      «      ¬«      t        t        dd«      t         |d«      «      d¬	«      t        t        ddd
«      t         |d«      «      d¬	«      t        t        dd¬«      t         |d«      «      d¬	«      t        t        ddd¬«      t         |d«      «      d¬	«      t        t        ddd
d¬«      t         |d«      «      d¬	«      gS )NrÀ   ©rå   rå   ©rÖ   rg  rg  rØ   rƒ   ©rå   rÖ   rg  rg  rh  rj  rk  ©rK   rK   rl  rK   ©Údivisor_overrideÚdivisorÚdivisor_strideÚdivisor_stride_padrm  rn  s          rG   Ú module_inputs_torch_nn_AvgPool2drz  µ  s  € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°FÓ&;Ü"/±
¸9Ó0EÓ"FØ'Ü!:ô	<ô 	¤m°FÓ&;Ü"/±
¸<Ó0HÓ"Iô	Kä¤m°F¸FÓ&CÜ"/±
¸<Ó0HÓ"IØ!ô	#ô 	¤m°F¸FÀFÓ&KÜ"/±
¸<Ó0HÓ"IØ%ô	'ô 	¤m°FÈQÔ&OÜ"/±
¸<Ó0HÓ"IØ"ô	$ô 	¤m°F¸FÐUVÔ&WÜ"/±
¸<Ó0HÓ"IØ)ô	+ô 	¤m°F¸FÀFÐ]^Ô&_Ü"/±
¸<Ó0HÓ"IØ-ô	/ð'0ð 0rI   c                 óÒ  — t        t        |||¬«      }t        t        d«      t         |d«      «      dt        ¬«      t        t        d«      t         |d«      «      ¬«      t        t        dd«      t         |d	«      «      d
¬«      t        t        ddd«      t         |d	«      «      d¬«      t        t        ddd«      t         |d	«      «      d¬«      t        t        ddd«      t         |d«      «      d¬«      t        t        ddd«      t         |d«      «      d¬«      t        t        ddd«      t         |d«      «      d¬«      t        t        dd¬«      t         |d«      «      d¬«      t        t        ddd¬«      t         |d	«      «      d¬«      t        t        dddd¬«      t         |d	«      «      d¬«      t        t        dddd¬«      t         |d	«      «      d¬«      t        t        dddd¬«      t         |d«      «      d¬«      t        t        dddd¬«      t         |d«      «      d ¬«      t        t        dddd¬«      t         |d«      «      d!¬«      gS )"NrÀ   ©rå   rå   rå   ©rÖ   rÅ   rÅ   rÅ   rØ   rƒ   ©rå   rÖ   rÅ   rÅ   rÅ   rh  rå   ©rå   rÖ   r×   r×   r×   rj  rk  ©rK   rK   rK   rl  rÅ   )rK   rå   rK   Ústride_pad_gpu_fixedkw_output)rå   rÅ   rÃ   rK   )rK   rK   rå   )rå   rÖ   rå   rÅ   rÃ   Ústride_pad_gpu_general_outputrÖ   r   Ústride1_pad0_gpu_inputÚstride_pad_gpu_input_nooverlapru  rw  rx  ry  Ú%divisor_stride_pad_gpu_fixedkw_outputÚ%divisor_stride_pad_gpu_general_outputÚdivisor_stride1_pad0_gpu_inputÚ&divisor_stride_pad_gpu_input_nooverlaprm  rn  s          rG   Ú module_inputs_torch_nn_AvgPool3dr‰  Ñ  sQ  € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°IÓ&>Ü"/±
¸<Ó0HÓ"IØ'Ü!:ô	<ô 	¤m°IÓ&>Ü"/±
¸?Ó0KÓ"Lô	Nä¤m°A°yÓ&AÜ"/±
¸?Ó0KÓ"LØ!ô	#ô 	¤m°A°q¸)Ó&DÜ"/±
¸?Ó0KÓ"LØ%ô	'ô 	¤m°A°q¸)Ó&DÜ"/±
¸?Ó0KÓ"LØ8ô	:ô 	¤m°I¸qÀ)Ó&LÜ"/±
¸?Ó0KÓ"LØ8ô	:ô 	¤m°A°q¸!Ó&<Ü"/±
¸?Ó0KÓ"LØ1ô	3ô 	¤m°A°q¸)Ó&DÜ"/±
¸?Ó0KÓ"LØ9ô	;ô 	¤m°IÐPQÔ&RÜ"/±
¸?Ó0KÓ"LØ"ô	$ô 	¤m°A°yÐSTÔ&UÜ"/±
¸?Ó0KÓ"LØ)ô	+ô 	¤m°A°q¸)ÐVWÔ&XÜ"/±
¸?Ó0KÓ"LØ-ô	/ô 	¤m°A°q¸)ÐVWÔ&XÜ"/±
¸?Ó0KÓ"LØ@ô	Bô 	¤m°I¸qÀ)Ð^_Ô&`Ü"/±
¸?Ó0KÓ"LØ@ô	Bô 	¤m°A°q¸!ÈaÔ&PÜ"/±
¸?Ó0KÓ"LØ9ô	;ô 	¤m°A°q¸)ÐVWÔ&XÜ"/±
¸?Ó0KÓ"LØAô	CðW-Dð -DrI   c           
      ó  — t        t        |||¬«      }t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      t        d¬«      t        t        d	«      t         |d«      «      d
¬«      gS )NrÀ   rÖ   ©rK   rÖ   r×   Úsinglerk  ©rÖ   r×   rØ   rc  rK   Ú
one_outputrm  rn  s          rG   Ú(module_inputs_torch_nn_AdaptiveAvgPool1dr�    sƒ   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&7Ü"/±
¸9Ó0EÓ"FØ!ô	#ô 	¤m°AÓ&7Ü"/±
¸6Ó0BÓ"CÜ!:Ø'ô	)ô 	¤m°AÓ&7Ü"/±
¸9Ó0EÓ"FØ%ô	'ð
(ð 
(rI   c                 ó¨  — t        t        |||¬«      }t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      t        d¬«      t        t        d	«      t         |d«      «      d
¬«      t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      d¬«      gS )NrÀ   rÖ   ©rK   rÖ   r×   rg  rŒ  rk  ©rÖ   r×   rg  rØ   rc  rK   Úsingle_1x1output©rÖ   rÅ   Útuple©rÖ   NÚ
tuple_nonerm  rn  s          rG   Ú(module_inputs_torch_nn_AdaptiveAvgPool2dr˜    sÅ   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&7Ü"/±
¸<Ó0HÓ"IØ!ô	#ô 	¤m°AÓ&7Ü"/±
¸9Ó0EÓ"FÜ!:Ø'ô	)ô 	¤m°AÓ&7Ü"/±
¸<Ó0HÓ"IØ+ô	-ô 	¤m°FÓ&;Ü"/±
¸<Ó0HÓ"IØ ô	"ô 	¤m°IÓ&>Ü"/±
¸<Ó0HÓ"IØ%ô	'ð(ð (rI   c                 ó¨  — t        t        |||¬«      }t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      t        d¬«      t        t        d	«      t         |d
«      «      d¬«      t        t        d«      t         |d
«      «      d¬«      t        t        d«      t         |d«      «      d¬«      gS )NrÀ   rÖ   )rå   rÖ   r×   rå   é   rŒ  rk  )rÖ   r×   rå   rš  rØ   rc  ©rÖ   rÅ   r×   )rå   rÖ   r×   rÖ   rš  r•  )NrÅ   r×   r—  )rÖ   rå   rå   )rK   rK   rÖ   rå   rg  Úlast_dimrm  rn  s          rG   Ú(module_inputs_torch_nn_AdaptiveAvgPool3dr�  *  sÅ   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&7Ü"/±
¸?Ó0KÓ"LØ!ô	#ô 	¤m°AÓ&7Ü"/±
¸<Ó0HÓ"IÜ!:Ø'ô	)ô 	¤m°IÓ&>Ü"/±
¸?Ó0KÓ"LØ ô	"ô 	¤m°LÓ&AÜ"/±
¸?Ó0KÓ"LØ%ô	'ô 	¤m°IÓ&>Ü"/±
¸?Ó0KÓ"LØ#ô	%ð&ð &rI   c           	      óÊ   — t        t        |||¬«      }t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      t        d¬«      gS )	NrÀ   rÖ   r‹  rŒ  rk  r�  rØ   rc  rm  rn  s          rG   Ú(module_inputs_torch_nn_AdaptiveMaxPool1drŸ  @  sb   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&7Ü"/±
¸9Ó0EÓ"FØ!ô	#ô 	¤m°AÓ&7Ü"/±
¸6Ó0BÓ"CÜ!:Ø'ô	)ð	*ð *rI   c                 ó^  — t        t        |||¬«      }t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      t        d¬«      t        t        d	«      t         |d«      «      d
¬«      t        t        d«      t         |d«      «      d¬«      gS )NrÀ   rÖ   r‘  rŒ  rk  r’  rØ   rc  r”  r•  r–  r—  rm  rn  s          rG   Ú(module_inputs_torch_nn_AdaptiveMaxPool2dr¡  M  s¤   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&7Ü"/±
¸<Ó0HÓ"IØ!ô	#ô 	¤m°AÓ&7Ü"/±
¸9Ó0EÓ"FÜ!:Ø'ô	)ô 	¤m°FÓ&;Ü"/±
¸<Ó0HÓ"IØ ô	"ô 	¤m°IÓ&>Ü"/±
¸<Ó0HÓ"IØ%ô	'ð(ð (rI   c                 óò  — t        t        |||¬«      }t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      t        d¬«      t        t        d	«      t         |d«      «      d
¬«      t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      d¬«      t        t        d	«      t         |d«      «      d¬«      gS )NrÀ   rÖ   )rå   rÖ   r×   rg  rš  rŒ  rk  )rÖ   r×   rg  rš  rØ   rc  r›  r•  )rÖ   Nr×   r—  )rå   rÖ   é   é	   rÖ   Úsingle_nonatomic)rå   rÖ   rg  rÅ   rÂ   Útuple_nonatomicrm  rn  s          rG   Ú(module_inputs_torch_nn_AdaptiveMaxPool3dr§  `  sè   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&7Ü"/±
¸?Ó0KÓ"LØ!ô	#ô 	¤m°AÓ&7Ü"/±
¸<Ó0HÓ"IÜ!:Ø'ô	)ô 	¤m°IÓ&>Ü"/±
¸?Ó0KÓ"LØ ô	"ô 	¤m°LÓ&AÜ"/±
¸?Ó0KÓ"LØ%ô	'ô 	¤m°AÓ&6Ü"/±
Ð;KÓ0LÓ"MØ+ô	-ô 	¤m°IÓ&>Ü"/±
Ð;KÓ0LÓ"MØ*ô	,ð#-ð -rI   c                 óP  — t        t        |||¬«      }t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      d¬«      t        t        dd	d «      t         |d«      «      d
¬«      t        t        dd	dd«      t         |d«      «      d¬«      t        t        dd	ddd«      t         |d«      «      d¬«      t        t        dd	dd«      t         |d«      «      d¬«      t        t        dd	dd«      t         |d«      «      d¬«      gS )NrÀ   rÂ   rÄ   Úaffinerk  r×   )rÅ   r×   rÖ   Ú3d_inputr2  Úaffine_simple_averageç333333Ó?FÚ
not_affineTÚnot_tracking_statsÚ3d_input_not_affine)r   r×   r¤  Ú
zero_batchrÚ   rn  s          rG   Ú"module_inputs_torch_nn_BatchNorm1dr±  y  s"  € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°BÓ&8Ü"/±
¸7Ó0CÓ"DØ!ô	#ô 	¤m°AÓ&7Ü"/±
¸9Ó0EÓ"FØ#ô	%ô 	¤m°B¸¸dÓ&CÜ"/±
¸7Ó0CÓ"DØ0ô	2ô 	¤m°B¸¸cÀ5Ó&IÜ"/±
¸7Ó0CÓ"DØ%ô	'ô 	¤m°B¸¸cÀ4ÈÓ&OÜ"/±
¸7Ó0CÓ"DØ-ô	/ô 	¤m°A°t¸SÀ%Ó&HÜ"/±
¸9Ó0EÓ"FØ.ô	0ô 	¤m°A°t¸SÀ%Ó&HÜ"/±
¸9Ó0EÓ"FØ%ô	'ð'(ð (rI   c                 ó  — t        t        |||¬«      }t        t        d«      t         |d«      «      ¬«      t        t        ddd «      t         |d«      «      d¬«      t        t        ddd«      t         |d«      «      d	¬«      t        t        dddd
«      t         |d«      «      d¬«      t        t        ddddd
«      t         |d«      «      d¬«      t        t        dddd
«      t         |d«      «      d¬«      gS )NrÀ   rÖ   rs  rh  r2  Ú2d_simple_averagerk  gš™™™™™é?ÚmomentumFr­  Tr®  r×   r¬  )r   r×   rå   rå   r°  rÚ   rn  s          rG   Ú"module_inputs_torch_nn_BatchNorm2drµ  ”  sû   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&7Ü"/±
¸<Ó0HÓ"Iô	Kä¤m°A°t¸TÓ&BÜ"/±
¸<Ó0HÓ"IØ,ô	.ô 	¤m°A°t¸SÓ&AÜ"/±
¸<Ó0HÓ"IØ#ô	%ô 	¤m°A°t¸SÀ%Ó&HÜ"/±
¸<Ó0HÓ"IØ%ô	'ô 	¤m°A°t¸SÀ$ÈÓ&NÜ"/±
¸<Ó0HÓ"IØ-ô	/ô 	¤m°A°t¸SÀ%Ó&HÜ"/±
¸<Ó0HÓ"IØ%ô	'ð(ð (rI   c                 ó  — t        t        |||¬«      }t        t        d«      t         |d«      «      ¬«      t        t        ddd «      t         |d«      «      d¬«      t        t        ddd«      t         |d«      «      d	¬«      t        t        dddd
«      t         |d«      «      d¬«      t        t        ddddd
«      t         |d«      «      d¬«      t        t        dddd
«      t         |d«      «      d¬«      gS )NrÀ   rÖ   r~  rh  r2  Ú3d_simple_averagerk  çffffffæ?r´  Fr­  Tr®  r×   r¬  )r   r×   rå   rå   rå   r°  rÚ   rn  s          rG   Ú"module_inputs_torch_nn_BatchNorm3dr¹  «  sû   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&7Ü"/±
¸?Ó0KÓ"Lô	Nä¤m°A°t¸TÓ&BÜ"/±
¸?Ó0KÓ"LØ,ô	.ô 	¤m°A°t¸SÓ&AÜ"/±
¸?Ó0KÓ"LØ#ô	%ô 	¤m°A°t¸SÀ%Ó&HÜ"/±
¸?Ó0KÓ"LØ%ô	'ô 	¤m°A°t¸SÀ$ÈÓ&NÜ"/±
¸?Ó0KÓ"LØ-ô	/ô 	¤m°A°t¸SÀ%Ó&HÜ"/±
¸?Ó0KÓ"LØ%ô	'ð(ð (rI   c                 óÔ  — |d   }|j                  dd«      }|j                  dd«      }t        t        |||¬«      }	|ri gni ddig}
d\  }}}|ft        d	„ t	        |«      D «       «      z   }d
|z   }t        j                  ddg|
«      D ��cg c]N  \  }}t        |rt        ||fi |¤Žnt        |||fi |¤Žt         |	|r|n|«      «      |rdnd|rd nt        ¬«      ‘ŒP c}}S c c}}w )NÚNr©   FÚ
transposedrÀ   ÚpaddingÚsamer›  c              3   ó&   K  — | ]	  }|d z   –— Œ y­wr–  rX   )Ú.0rÕ   s     rG   ú	<genexpr>z0module_inputs_torch_nn_ConvNd.<locals>.<genexpr>É  s   è ø€ Ò*C°Q¨1¨q­5Ñ*Cùs   ‚ri  Tr5   rØ   rƒ   )
rú   r   r
   r•  ÚrangeÚ	itertoolsr   r‚   r}   r  )rN   r±   rU   rÁ   rV   rZ   r»  r©   r¼  rÛ   Úconv_kwargs_listrf  ÚC_inÚC_outÚinput_no_batch_shapeÚinput_batch_shapeÚ
with_batchÚconv_kwargss                     rG   Úmodule_inputs_torch_nn_ConvNdrË  Â  s  € Øˆs‰€AØ�:‰:�f˜eÓ$€DØ—‘˜L¨%Ó0€JÜœ¨V¸5ÐP]Ô^€JÙ)˜‘t°°YÀÐ4GÐ/HÐØ&Ñ€K��uØ ˜7¤UÑ*C¼%À»(Ô*CÓ%CÑCÐØÐ3Ñ3Ðô (1×'8Ñ'8¸$À¸ÐHXÓ'Y÷ñ $ˆJ˜ô 	Ñ[_¤}°U¸KÑ'WÈ;Ò'WÜ'4°T¸5À+Ñ']ÐQ\Ñ']Ü"/±
Ù-7Ñ)Ð=Qó1Só #Tá *™"°Ù*4¡$Ô:Sö	Vóð ùó s   ÂAC$c                 óJ  — t        t        |||¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifdddifg}g }	|D ]\  \  }
}|fd„}|	j                  t        t	        di |¤Žt	         |d«       |d«       |d«      j                  «       «      |
|¬«      «       Œ^ |	S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   Úmarginr¸  c                 ó   — t        |||fi |¤ŽS r>   )r   ©r‹   rÍ   Úi1Úi2rÊ   rõ   s         rG   r‡   z@module_inputs_torch_nn_CosineEmbeddingLoss.<locals>.reference_fnä  s   € Ü0°°R¸ÑQÐ>PÑQÐQrI   ©r  rÂ   )r  rƒ   rX   ©r   r
   rL   r‚   r}   Úsign©rN   r±   rU   rÁ   rV   rZ   rÛ   r  rû   rÜ   r†   rõ   r‡   s                rG   Ú*module_inputs_torch_nn_CosineEmbeddingLossrÖ  Ö  sæ   € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1Ø	�H˜c�?Ð#ð%€Eð €MØ$)ò 

Ñ ˆÐ Ø=Oó 	Rð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸xÓ4HÉ*ÐU]ÓJ^Ù4?ÀÓ4F×4KÑ4KÓ4Mó'Oà!Ø%1ô	3õ	
ð	

ð ÐrI   c                 ód  — t        t        |||¬«      }t        t        d¬«      t         |d«      «      d„ ¬«      t        t        d¬«      t         |d«      «      d¬	«      t        t        «       t         |d
«      «      dt        ¬«      t        t        d¬«      t         |d«      «      d¬	«      gS )NrÀ   r(  ©Úalpha©rÖ   rå   r×   c                 ó^   — t        j                  |dk\  |d|j                  «       dz
  z  «      S )Nr   rå   rK   ©rd   Úwherer)  rÔ   s      rG   rÎ   z,module_inputs_torch_nn_ELU.<locals>.<lambda>ø  s'   € ´·±¸QÀ!¹VÀQÈÈQÏUÉUËWÐWXÉ[ÑHYÓ1Z€ rI   rÏ   rX   Úscalarrk  ©rÖ   rØ   rƒ   ©rå   rÖ   rå   r×   Ú4d_inputrm  rn  s          rG   Úmodule_inputs_torch_nn_ELUrâ  ò  s¡   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m¸"Ô&=Ü"/±
¸9Ó0EÓ"FÙ!Zô	\ô 	¤m¸"Ô&=Ü"/±
¸2³Ó"?Ø!ô	#ô 	¤m£oÜ"/±
¸4Ó0@Ó"AØ'Ü!:ô	<ô 	¤m¸"Ô&=Ü"/±
¸<Ó0HÓ"IØ#ô	%ð&ð &rI   c           
      ó   — t        t        |||¬«      }t        t        d¬«      t         |d«      «      d„ ¬«      t        t        d¬«      t         |d«      «      d„ d	¬
«      t        t        d¬«      t         |d«      «      dt        ¬«      gS )NrÀ   r(  rØ  rÚ  c                 ód   — t        j                  |dk\  |dd|z  j                  «       dz
  z  «      S ©Nr   r(  r'  rK   rÜ  rÔ   s      rG   rÎ   z-module_inputs_torch_nn_CELU.<locals>.<lambda>  ó-   € ´·±¸QÀ!¹VÀQÈÈrÐTUÉvÏlÉlËnÐ_`ÑN`ÑHaÓ1b€ rI   rÏ   rX   c                 ód   — t        j                  |dk\  |dd|z  j                  «       dz
  z  «      S rå  rÜ  rÔ   s      rG   rÎ   z-module_inputs_torch_nn_CELU.<locals>.<lambda>  ræ  rI   rÞ  rc  rß  rØ   rƒ   rm  rn  s          rG   Úmodule_inputs_torch_nn_CELUrè    s†   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m¸"Ô&=Ü"/±
¸9Ó0EÓ"FÙ!bô	dô 	¤m¸"Ô&=Ü"/±
¸2³Ó"?Ù!bØ!ô	#ô 	¤m¸"Ô&=Ü"/±
¸4Ó0@Ó"AØ'Ü!:ô	<ð=ð =rI   c           
      ó  — t        t        |||¬«      }t        t        «       t         |d«      «      ¬«      t        t        d«      t         |d«      «      d¬«      t        t        «       t         |d«      «      d	t        ¬
«      gS )NrÀ   )r×   rg  rh  rK   ©r×   rg  rš  r  rk  r`  rØ   rƒ   rm  rn  s          rG   Úmodule_inputs_torch_nn_GLUrë    sy   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸6Ó0BÓ"Cô	Eä¤m°AÓ&6Ü"/±
¸9Ó0EÓ"FØô	 ô 	¤m£oÜ"/±
¸4Ó0@Ó"AØ'Ü!:ô	<ð	=ð 	=rI   c           
      ó  — t        t        |||¬«      }t        t        d«      t         |d«      «      d„ d¬«      t        t        d«      t         |d«      «      d„ ¬	«      t        t        «       t         |d
«      «      dt        ¬«      gS )NrÀ   rñ   rX   c                 ój   — |dz  dt        j                  |t        j                  d«      z  «      z   z  S ©Nr'  ç      ð?r(  ©rd   Úerfr*  Úsqrt©r‹   rÍ   ÚxrR   s       rG   rÎ   z-module_inputs_torch_nn_GELU.<locals>.<lambda>+  ó0   € °Q¸±WÀÄeÇiÁiÐPQÔTX×T]ÑT]Ð^aÓTbÑPbÓFcÑ@cÑ5d€ rI   rÞ  rc  rÚ  c                 ój   — |dz  dt        j                  |t        j                  d«      z  «      z   z  S rî  rð  ró  s       rG   rÎ   z-module_inputs_torch_nn_GELU.<locals>.<lambda>/  rõ  rI   rÏ   rß  rØ   rƒ   rm  rn  s          rG   Úmodule_inputs_torch_nn_GELUr÷  %  sƒ   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°FÓ&;Ü"/±
¸2³Ó"?Ù!dØ!ô	#ô 	¤m°FÓ&;Ü"/±
¸9Ó0EÓ"FÙ!dô	fô 	¤m£oÜ"/±
¸4Ó0@Ó"AØ'Ü!:ô	<ð=ð =rI   c                 óV  — t        t        |||¬«      }t        t        «       t         |d«      «      d¬«      t        t        «       t         |d«      «      t        d¬«      t        t        «       t         |d«      «      d	¬«      t        t        «       t         |d
«      «      d¬«      gS ©NrÀ   rX   rÞ  rk  rÅ   rØ   rc  r1  Úchannels_last_mem_format)rå   rÖ   rÖ   rÅ   r×   Úchannels_last_3d_mem_formatrm  rn  s          rG   Úmodule_inputs_torch_nn_ReLUrü  6  ó–   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸2³Ó"?Ø!ô	#ô 	¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ô 	¤m£oÜ"/±
¸<Ó0HÓ"IØ3ô	5ô 	¤m£oÜ"/±
¸?Ó0KÓ"LØ6ô	8ð9ð 9rI   c                 óV  — t        t        |||¬«      }t        t        «       t         |d«      «      d¬«      t        t        «       t         |d«      «      t        d¬«      t        t        «       t         |d«      «      d	¬«      t        t        «       t         |d
«      «      d¬«      gS rù  rm  rn  s          rG   Úmodule_inputs_torch_nn_ReLU6rÿ  I  rý  rI   c                 ó¢  — t        t        |||¬«      }t        t        «       t         |d«      «      ¬«      t        t        «       t         |d«      «      t        d¬«      t        t        d«      t         |d«      «      d¬	«      t        t        d
«      t         |d«      «      d¬	«      t        t        d«      t         |d«      «      d¬	«      gS )NrÀ   rÚ  rh  rÅ   rØ   rc  r'  Úwith_negvalrk  r›   r÷   Úwith_zero_negvalrX   Úwith_negval_scalarrm  rn  s          rG   Ú module_inputs_torch_nn_LeakyReLUr  \  s¹   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸9Ó0EÓ"Fô	Hä¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ô 	¤m°CÓ&8Ü"/±
¸9Ó0EÓ"FØ&ô	(ô 	¤m°CÓ&8Ü"/±
¸8Ó0DÓ"EØ+ô	-ô 	¤m°CÓ&8Ü"/±
¸2³Ó"?Ø-ô	/ð0ð 0rI   c                 ó”  — t        t        |||¬«      }t        t        «       t         |d«      «      d¬«      t        t        «       t         |d«      «      t        d¬«      t        t        «       t         |d«      «      d	„ d
¬«      t        t        d«      t         |d«      «      d„ d¬«      t        t        «       t         |d«      «      d„ d¬«      t        t        d«      t         |d«      «      d„ d¬«      t        t        «       t         |d«      «      d„ d¬«      t        t        d«      t         |d«      «      d„ d¬«      gS )NrÀ   rX   rÞ  rk  rÅ   rØ   rc  ©rå   rÖ   rÅ   c                 ór   — t        j                  |d¬«      t        j                  |d¬«      |d   d   z  z   S ©Nr   ©Úmin)Úmax©rd   ÚclamprÔ   s      rG   rÎ   z.module_inputs_torch_nn_PReLU.<locals>.<lambda>~  ó5   € ´·±¸QÀAÔ1FÌÏÉÐUVÐ\]ÔI^ÐabÐcdÑaeÐfgÑahÑIhÑ1h€ rI   Ú1drÖ   c                 ór   — t        j                  |d¬«      t        j                  |d¬«      |d   d   z  z   S r  r  rÔ   s      rG   rÎ   z.module_inputs_torch_nn_PReLU.<locals>.<lambda>‚  r  rI   Ú1d_multiparamr1  c                 ór   — t        j                  |d¬«      t        j                  |d¬«      |d   d   z  z   S r  r  rÔ   s      rG   rÎ   z.module_inputs_torch_nn_PReLU.<locals>.<lambda>†  r  rI   Ú2dc                 ór   — t        j                  |d¬«      t        j                  |d¬«      |d   d   z  z   S r  r  rÔ   s      rG   rÎ   z.module_inputs_torch_nn_PReLU.<locals>.<lambda>Š  r  rI   Ú2d_multiparam)rå   rÖ   rÅ   r×   rg  c                 ór   — t        j                  |d¬«      t        j                  |d¬«      |d   d   z  z   S r  r  rÔ   s      rG   rÎ   z.module_inputs_torch_nn_PReLU.<locals>.<lambda>Ž  r  rI   Ú3dc                 ór   — t        j                  |d¬«      t        j                  |d¬«      |d   d   z  z   S r  r  rÔ   s      rG   rÎ   z.module_inputs_torch_nn_PReLU.<locals>.<lambda>’  r  rI   Ú3d_multiparamrm  rn  s          rG   Úmodule_inputs_torch_nn_PReLUr  q  s)  € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸2³Ó"?Ø!ô	#ô 	¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ô 	¤m£oÜ"/±
¸9Ó0EÓ"FÙ!hØô	ô 	¤m°AÓ&6Ü"/±
¸9Ó0EÓ"FÙ!hØ(ô	*ô 	¤m£oÜ"/±
¸<Ó0HÓ"IÙ!hØô	ô 	¤m°AÓ&6Ü"/±
¸<Ó0HÓ"IÙ!hØ(ô	*ô 	¤m£oÜ"/±
¸?Ó0KÓ"LÙ!hØô	ô 	¤m°AÓ&6Ü"/±
¸?Ó0KÓ"LÙ!hØ(ô	*ð9+ð +rI   c           
      ó  — t        t        |||¬«      }t        t        «       t         |d«      «      ¬«      t        t        «       t         |d«      «      t        d¬«      t        t        «       t         |d«      «      d¬	«      gS )
NrÀ   rÚ  rh  rÅ   rØ   rc  rX   rÞ  rk  rm  rn  s          rG   Úmodule_inputs_torch_nn_SELUr  –  st   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸9Ó0EÓ"Fô	Hä¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ô 	¤m£oÜ"/±
¸2³Ó"?Ø!ô	#ð	$ð 	$rI   c           
      ó  — t        t        |||¬«      }t        t        «       t         |d«      «      d„ d¬«      t        t        «       t         |d«      «      t        d¬«      t        t        «       t         |d«      «      d	„ ¬
«      gS )NrÀ   rX   c                 ó2   — |t        j                  |«      z  S r>   ©rd   Úsigmoidró  s       rG   rÎ   z-module_inputs_torch_nn_SiLU.<locals>.<lambda>«  ó   € °Q¼¿¹ÀqÓ9IÑ5I€ rI   rÞ  rc  rÅ   rØ   rê  c                 ó2   — |t        j                  |«      z  S r>   r  ró  s       rG   rÎ   z-module_inputs_torch_nn_SiLU.<locals>.<lambda>³  r!  rI   rÏ   rm  rn  s          rG   Úmodule_inputs_torch_nn_SiLUr#  ¥  s~   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸2³Ó"?Ù!IØ!ô	#ô 	¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ô 	¤m£oÜ"/±
¸9Ó0EÓ"FÙ!Iô	KðLð LrI   c           
      ó  — t        t        |||¬«      }t        t        d«      t         |d«      «      d„ ¬«      t        t        d«      t         |d«      «      d„ d	¬
«      t        t        d«      t         |d«      «      t        d¬
«      gS )NrÀ   rK   ©rÂ   é   c                 ó°   — t        j                  |«      j                  t        j                  |«      j                  dd«      j	                  dd«      «      S ©NrK   TrÂ   r&  )rd   r)  Údivrí   rÌ   rÔ   s      rG   rÎ   z0module_inputs_torch_nn_Softmax.<locals>.<lambda>¼  s?   € ´·±¸1³×1AÑ1AÄ%Ç)Á)ÈAÃ,×BRÑBRÐSTÐVZÓB[×BbÑBbÐceÐgiÓBjÓ1k€ rI   rÏ   r   rX   c                 ó�   — t        j                  |«      j                  t        j                  |«      j                  dd«      «      S )Nr   T©rd   r)  r)  rí   rÔ   s      rG   rÎ   z0module_inputs_torch_nn_Softmax.<locals>.<lambda>¿  s0   € ´·±¸1³×1AÑ1AÄ%Ç)Á)ÈAÃ,×BRÑBRÐSTÐVZÓB[Ó1\€ rI   rÞ  rc  rÈ   ©rÅ   r×   rØ   rm  rn  s          rG   Úmodule_inputs_torch_nn_Softmaxr-  ¶  s†   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&6Ü"/±
¸8Ó0DÓ"EÙ!kô	mô 	¤m°AÓ&6Ü"/±
¸2³Ó"?Ù!\Ø!ô	#ô 	¤m°BÓ&7Ü"/±
¸6Ó0BÓ"CÜ!:Ø'ô	)ð*ð *rI   c           	      óÈ   — t        t        |||¬«      }t        t        «       t         |d«      «      d„ ¬«      t        t        «       t         |d«      «      t        d¬«      gS )NrÀ   ©rK   rÖ   rÂ   r&  c                 ó�   — t        j                  |«      j                  t        j                  |«      j                  dd«      «      S ©NrK   Fr+  rÔ   s      rG   rÎ   z2module_inputs_torch_nn_Softmax2d.<locals>.<lambda>Í  s0   € ´·±¸1³×1AÑ1AÄ%Ç)Á)ÈAÃ,×BRÑBRÐSTÐV[ÓB\Ó1]€ rI   rÏ   r›  rØ   rc  rm  rn  s          rG   Ú module_inputs_torch_nn_Softmax2dr2  Ç  s]   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸>Ó0JÓ"KÙ!]ô	_ô 	¤m£oÜ"/±
¸9Ó0EÓ"FÜ!:Ø'ô	)ð	*ð *rI   c                 óh  — t        t        |||¬«      }t        t        d«      t         |d«      «      d„ ¬«      t        t        d«      t         |d«      «      d„ d¬	«      t        t        d
«      t         |d«      «      d„ d¬	«      t        t        d«      t         |d«      «      t        d¬	«      gS )NrÀ   rK   r%  c                 óÌ   — t        j                  |«      j                  t        j                  |«      j                  dd«      j	                  dd«      «      j                  «       S r(  )rd   r)  Údiv_rí   rÌ   Úlog_rÔ   s      rG   rÎ   z3module_inputs_torch_nn_LogSoftmax.<locals>.<lambda>Ú  sH   € ´·±¸1³×1BÑ1BÄ5Ç9Á9ÈQÃ<×CSÑCSÐTUÐW[ÓC\×CcÑCcÐdfÐhjÓCkÓ1l×1qÑ1qÓ1s€ rI   rÏ   r/  c                 ó¬   — t        j                  |«      j                  t        j                  |«      j                  dd«      «      j	                  «       S r1  ©rd   r)  r5  rí   r6  rÔ   s      rG   rÎ   z3module_inputs_torch_nn_LogSoftmax.<locals>.<lambda>Ý  ó9   € ´·±¸1³×1BÑ1BÄ5Ç9Á9ÈQÃ<×CSÑCSÐTUÐW\ÓC]Ó1^×1cÑ1cÓ1e€ rI   Ú
multiparamrc  r   rX   c                 ó¬   — t        j                  |«      j                  t        j                  |«      j                  dd«      «      j	                  «       S )Nr   Fr8  rÔ   s      rG   rÎ   z3module_inputs_torch_nn_LogSoftmax.<locals>.<lambda>á  r9  rI   Úmultiparam_scalarrÈ   r,  rØ   rm  rn  s          rG   Ú!module_inputs_torch_nn_LogSoftmaxr=  Ô  sª   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&6Ü"/±
¸8Ó0DÓ"EÙ!sô	uô 	¤m°AÓ&6Ü"/±
¸>Ó0JÓ"KÙ!eØ%ô	'ô 	¤m°AÓ&6Ü"/±
¸2³Ó"?Ù!eØ,ô	.ô 	¤m°BÓ&7Ü"/±
¸6Ó0BÓ"CÜ!:Ø'ô	)ð*ð *rI   c                 ó\  — t        t        |||¬«      }t        t        d«      t         |d«      «      ¬«      t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d	«      «      d
¬«      t        t        d«      t         |d«      «      t        d¬«      gS )NrÀ   rK   r%  rh  )rå   rÖ   r×   rÂ   Úmultidimrk  r   rX   rÞ  rÈ   )rÖ   rÅ   rÂ   rØ   rc  rm  rn  s          rG   Úmodule_inputs_torch_nn_Softminr@  é  sŸ   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°AÓ&6Ü"/±
¸8Ó0DÓ"Eô	Gä¤m°AÓ&6Ü"/±
¸=Ó0IÓ"JØ#ô	%ô 	¤m°AÓ&6Ü"/±
¸2³Ó"?Ø!ô	#ô 	¤m°BÓ&7Ü"/±
¸:Ó0FÓ"GÜ!:Ø'ô	)ð*ð *rI   c                 ó¶  — t        t        |||¬«      }t        t        «       t         |d«      «      d„ ¬«      t        t        d«      t         |d«      «      d„ d¬«      t        t        dd	«      t         |d«      «      d
„ d¬«      t        t        dd	«      t         |d«      «      d„ d¬«      t        t        «       t         |d«      «      t        d¬«      gS )NrÀ   r%  c                 óR   — t        j                  t        j                  |«      «      S r>   ©rd   Úlog1pr)  rÔ   s      rG   rÎ   z1module_inputs_torch_nn_Softplus.<locals>.<lambda>  s   € ´·±¼U¿Y¹YÀq»\Ó1J€ rI   rÏ   rå   c                 ó^   — dt        j                  t        j                  d|z  «      «      z  S )Nr'  rå   rC  rÔ   s      rG   rÎ   z1module_inputs_torch_nn_Softplus.<locals>.<lambda>  s$   € °¼5¿;¹;ÄuÇyÁyÐQRÐUVÑQVÓGWÓ;XÑ1X€ rI   Úbetarc  éœÿÿÿc                 óÊ   — |dz  dkD  j                  |«      |z  |dz  dk  j                  |«      dz  dz  t        j                  t        j                  d|z  «      «      z  z   S ©Nrå   rG  rï  r(  ©Útype_asrd   rD  r)  rÔ   s      rG   rÎ   z1module_inputs_torch_nn_Softplus.<locals>.<lambda>	  ób   € ¨!¨a©%°4©×(@Ñ(@ÀÓ(CÀaÑ(GØ ™E d™?×3Ñ3°AÓ6¸Ñ;¸bÑ@Ä5Ç;Á;ÌuÏyÉyÐYZÐ]^ÑY^ÓO_ÓC`Ñ`ñ)a€ rI   Úbeta_thresholdrX   c                 óÊ   — |dz  dkD  j                  |«      |z  |dz  dk  j                  |«      dz  dz  t        j                  t        j                  d|z  «      «      z  z   S rI  rJ  rÔ   s      rG   rÎ   z1module_inputs_torch_nn_Softplus.<locals>.<lambda>  rL  rI   Úbeta_threshold_scalarrÅ   rØ   rm  rn  s          rG   Úmodule_inputs_torch_nn_SoftplusrP  û  sÑ   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸8Ó0DÓ"EÙ!Jô	Lô 	¤m°AÓ&6Ü"/±
¸8Ó0DÓ"EÙ!XØô	!ô 	¤m°A°tÓ&<Ü"/±
¸8Ó0DÓ"Eñaà)ô	+ô 	¤m°A°tÓ&<Ü"/±
¸2³Ó"?ñaà0ô	2ô 	¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ð)*ð *rI   c                 óX  — t        t        |||¬«      }t        t        «       t         |d«      «      ¬«      t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      d¬«      t        t        «       t         |d	«      «      t        d
¬«      gS )NrÀ   rÚ  rh  rK   Úlambdark  rX   Úlambda_scalarrÅ   rØ   rc  rm  rn  s          rG   Ú!module_inputs_torch_nn_SoftshrinkrT    s˜   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸9Ó0EÓ"Fô	Hä¤m°AÓ&7Ü"/±
¸9Ó0EÓ"FØ!ô	#ô 	¤m°AÓ&7Ü"/±
¸2³Ó"?Ø(ô	*ô 	¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ð*ð *rI   c           
      ó  — t        t        |||¬«      }t        t        «       t         |d«      «      d„ ¬«      t        t        «       t         |d«      «      d„ d¬«      t        t        «       t         |d	«      «      t        d
¬«      gS )NrÀ   rÚ  c                 óP   — |j                  dt        j                  |«      z   «      S ©NrK   ©r)  rd   r  rÔ   s      rG   rÎ   z1module_inputs_torch_nn_Softsign.<locals>.<lambda>0  ó   € °·±°q¼5¿9¹9ÀQ»<Ñ7GÓ1H€ rI   rÏ   rX   c                 óP   — |j                  dt        j                  |«      z   «      S rW  rX  rÔ   s      rG   rÎ   z1module_inputs_torch_nn_Softsign.<locals>.<lambda>3  rY  rI   rÞ  rc  rÅ   rØ   rm  rn  s          rG   Úmodule_inputs_torch_nn_Softsignr[  *  s|   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸9Ó0EÓ"FÙ!Hô	Jô 	¤m£oÜ"/±
¸2³Ó"?Ù!HØ!ô	#ô 	¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ð*ð *rI   c           
      ó  — t        t        |||¬«      }t        t        «       t         |d«      «      ¬«      t        t        «       t         |d«      «      d¬«      t        t        «       t         |d«      «      t        d¬	«      gS ©
NrÀ   r1  rh  rX   rÞ  rk  rÅ   rØ   rc  rm  rn  s          rG   Úmodule_inputs_torch_nn_Tanhr^  ;  ót   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸<Ó0HÓ"Iô	Kä¤m£oÜ"/±
¸2³Ó"?Ø!ô	#ô 	¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ð	*ð 	*rI   c           
      ó  — t        t        |||¬«      }t        t        «       t         |d«      «      ¬«      t        t        «       t         |d«      «      d¬«      t        t        «       t         |d«      «      t        d¬	«      gS r]  rm  rn  s          rG   Ú!module_inputs_torch_nn_Tanhshrinkra  K  r_  rI   c                 óf  — t        t        |||¬«      }t        t        dd«      t         |d«      «      d¬«      t        t        dd«      t         |d«      «      d¬«      t        t        dd«      t         |d	«      «      d
¬«      t        t        dd«      t         |d«      «      t        d¬«      gS )NrÀ   r(  rï  r1  Úthreshold_valuerk  g      $@Úlarge_valuerX   Úthreshold_value_scalarrÅ   rØ   rc  rm  rn  s          rG   Ú module_inputs_torch_nn_Thresholdrf  Z  sª   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m°B¸Ó&;Ü"/±
¸<Ó0HÓ"IØ*ô	,ô 	¤m°B¸Ó&<Ü"/±
¸<Ó0HÓ"IØ&ô	(ô 	¤m°B¸Ó&;Ü"/±
¸2³Ó"?Ø1ô	3ô 	¤m°B¸Ó&;Ü"/±
¸1³Ó">Ü!:Ø'ô	)ð*ð *rI   c           
      ó  — t        t        |||¬«      }t        t        «       t         |d«      «      d„ ¬«      t        t        «       t         |d«      «      d„ d¬«      t        t        «       t         |d	«      «      t        d
¬«      gS )NrÀ   rê  c                 óX   — |t        j                  t        j                  |«      «      z  S r>   ©rd   ÚtanhÚFÚsoftplusrÔ   s      rG   rÎ   z-module_inputs_torch_nn_Mish.<locals>.<lambda>s  ó   € °´U·Z±ZÄÇ
Á
È1ÃÓ5NÑ1N€ rI   rÏ   rX   c                 óX   — |t        j                  t        j                  |«      «      z  S r>   ri  rÔ   s      rG   rÎ   z-module_inputs_torch_nn_Mish.<locals>.<lambda>v  rm  rI   rÞ  rc  rÅ   rØ   rm  rn  s          rG   Úmodule_inputs_torch_nn_Mishro  m  s|   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸9Ó0EÓ"FÙ!Nô	Pô 	¤m£oÜ"/±
¸2³Ó"?Ù!NØ!ô	#ô 	¤m£oÜ"/±
¸1³Ó">Ü!:Ø'ô	)ð*ð *rI   c           
      óö   — t        t        |||¬«      }t        t        «       t         |d«       |d«      «      d„ ¬«      t        t        «       t         |d«       |d«      «      d„ d¬«      gt	        |«      z   S )	NrÀ   r  c                 ób   — d|j                  «       z  t        d„ t        ||«      D «       «      z  S )Nrï  c              3   ód   K  — | ](  \  }}||z
  j                  «       j                  «       –— Œ* y ­wr>   )r  rí   )rÀ  ÚaÚbs      rG   rÁ  zBmodule_inputs_torch_nn_L1Loss.<locals>.<lambda>.<locals>.<genexpr>…  s6   è ø€ ò I`ÙMQÈQÐPQð KLÈaÉ%ÏÉË×IZÑIZ×I\ñ I`ùs   ‚.0)r-  rí   Úzip©r‹   rÍ   rÕ   rÊ   s       rG   rÎ   z/module_inputs_torch_nn_L1Loss.<locals>.<lambda>…  s9   € °B¸¿¹»±NÄSñ I`ÜUXÐYZÐ\]ÓU^ôI`ó F`ñ 5`€ rI   rÏ   rX   c                 ól   — d|j                  «       z  ||z
  j                  «       j                  «       z  S )Nrï  )r-  r  rí   rv  s       rG   rÎ   z/module_inputs_torch_nn_L1Loss.<locals>.<lambda>‰  s(   € °B¸¿¹»±NÀaÈ!ÁeÇ[Á[Ã]×EVÑEVÓEXÑ4X€ rI   rÞ  rc  )r   r
   r‚   r}   rd  rn  s          rG   Úmodule_inputs_torch_nn_L1Lossrx  ~  s‚   € Üœ¨V¸5ÐP]Ô^€Jô 	¤m£oÜ"/±
¸9Ó0EÙ0:¸9Ó0Eó#Gñ"`ô	aô
 	¤m£oÜ"/±
¸2³Á
È2ÃÓ"OÙ!XØ!ô	#ð	$ô 'KÈ:Ó&Vñ	Wð 	WrI   c                 óp  — t        t        |||¬«      }di fdddifdddifddd	ifg}g }|D ]‡  \  }	}
|
fd
„}|j                  t        t	        di |
¤Žt	         |d«       |d«      «      |	|¬«      «       |j                  t        t	        di |
¤Žt	         |d«       |d«      «      d|	› �|¬«      «       Œ‰ |S )NrÀ   r5   rë   rì   rí   r  r  rð   rñ   c                 ó   — t        ||fi |¤ŽS r>   )r&   rô   s        rG   r‡   z9module_inputs_torch_nn_SmoothL1Loss.<locals>.reference_fnš  s   € Ü)¨!¨QÑEÐ2DÑEÐErI   ©r×   rÂ   rƒ   rX   rø   r<  ©rN   r±   rU   rÁ   rV   rZ   rÛ   rû   rÜ   r†   rõ   r‡   s               rG   Ú#module_inputs_torch_nn_SmoothL1Lossr}  �  sþ   € Üœ¨V¸5ÐP]Ô^€Jð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1ð	%€Eð €MØ$)ò 
Ñ ˆÐ Ø8Jó 	Fð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸wÓ4GÙ4>¸wÓ4Gó'Ià!Ø%1ô	3ô	
ð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸r³NÙ4>¸r³Nó'Dà& t fÐ-Ø%1ô	3õ	
ð
ð& ÐrI   c                 óŠ  — t        t        |||¬«      }t        t        ||d¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifdd |d«      ifg}	dd„}
g }|	D ]m  \  }}|j                  t        t	        di |¤Žt	         |ddd¬«       |d«      j                  d«      j                  |«      «      |t        |
fi |¤Ž¬«      «       Œo  |d«      }|j                  t        t	        |¬«      t	         |ddd¬«       |d«      j                  d«      j                  |«      «      dt        |
|¬«      ¬«      «       |S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   r  r  ©rÂ   c                 óæ   — ||j                  «       z  d|z
  d|z
  j                  «       z  z    }|�||z  }|dk(  r|S |dk(  r!|j                  «       |j                  «       z  S |j                  «       S )NrK   rñ   r  )rù   rí   r-  ©r‹   rÍ   rÕ   rÊ   rì   r  r²   s          rG   Úbce_loss_reference_fnz=module_inputs_torch_nn_BCELoss.<locals>.bce_loss_reference_fn½  ss   € Ø�q—u‘u“w‘; ! a¡%¨A°©E¯;©;«=Ñ!8Ñ8Ð9ˆàÐØ˜f‘_ˆFà˜ÒØˆMØ˜&Ò Ø—:‘:“< !§'¡'£)Ñ+Ð+à—:‘:“<ÐrI   rÒ  ç{®Gáz„?ç®Gáz®ï?©ÚlowÚhighr   rƒ   rX   )r  Úscalar_weight©r  N©r   r
   rL   r‚   r}   ÚgtÚto)rN   r±   rU   rÁ   rV   rZ   rÛ   r  r  rû   r‚  rÜ   r†   rõ   rˆ  s                  rG   Úmodule_inputs_torch_nn_BCELossr�  °  sw  € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¸EÐQVÔW€KÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1Ø	�X™{¨5Ó1Ð2Ð3ð%€Eó ð €MØ$)ò 
Ñ ˆÐ Ø×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸xÈTÐX`Ô4aÙ4?ÀÓ4I×4LÑ4LÈQÓ4O×4RÑ4RÐSXÓ4Yó'[à!Ü%,Ð-BÑ%YÐFXÑ%Yô	[õ	
ð
ñ   “O€MØ×ÑÜ¤m¸=Ô&IÜ"/±
¸2À4ÈhÔ0WÙ0;¸B³×0BÑ0BÀ1Ó0E×0HÑ0HÈÓ0Oó#Qà(Ü!(Ð)>À}Ô!Uô		Wôð ÐrI   c                 ó¼  — t        t        |||¬«      }t        t        ||d¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifdd |d«      ifdd |d«      ifg}	dd„}
g }|	D ]m  \  }}|j                  t        t	        di |¤Žt	         |ddd¬«       |d«      j                  d«      j                  |«      «      |t        |
fi |¤Ž¬«      «       Œo |S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   r  r  r  Úscalar_weightsrX   c                 ó�  — | j                  d¬«      }d|z
  j                  |«      j                  |«      j                  | j                  «       j                  | |z
  j                  «       «      j	                  «       «      }|�||z  }|dk(  r|S |dk(  r!|j                  «       |j                  «       z  S |j                  «       S )Nr   r	  rK   rñ   r  )r  Úmul_Úadd_Úexp_r6  rí   r-  )r‹   rÍ   rÕ   rÊ   rì   r  Úmax_valr²   s           rG   Úbce_withlogitsloss_reference_fnzQmodule_inputs_torch_nn_BCEWithLogitsLoss.<locals>.bce_withlogitsloss_reference_fnî  s¯   € à�2—*‘* �*Ó#ˆØ�a‘%—‘˜a“×%Ñ% gÓ.×3Ñ3°g°X·O±OÓ4E×4JÑ4JÈQÈBÐQXÉL×K^ÑK^ÓK`Ó4a×4fÑ4fÓ4hÓiˆàÐØ˜f‘_ˆFà˜ÒØˆMØ˜&Ò Ø—:‘:“< !§'¡'£)Ñ+Ð+à—:‘:“<ÐrI   rÒ  rƒ  r„  r…  r   rƒ   r‰  rŠ  )rN   r±   rU   rÁ   rV   rZ   rÛ   r  r  rû   r•  rÜ   r†   rõ   s                 rG   Ú(module_inputs_torch_nn_BCEWithLogitsLossr–  à  s   € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¸EÐQVÔW€KÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1Ø	�X™{¨5Ó1Ð2Ð3Ø	˜H¡k°"£oÐ6Ð7ð%€Eó ð €MØ$)ò 
Ñ ˆÐ Ø×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸xÈTÐX`Ô4aÙ4?ÀÓ4I×4LÑ4LÈQÓ4O×4RÑ4RÐSXÓ4Yó'[à!Ü%,Ð-LÑ%cÐPbÑ%cô	eõ	
ð
ð ÐrI   c                 óÜ  — t        t        |||¬«      }t        t        |t        j                  d¬«      }t        t        ||d¬«      }g d¢}	di fdd |d«      ifddd	ifd
d
difdd	ddœfg}
g }t	        |	|
«      D �]î  \  }\  }}||fd„}|j                  t        t        d)d|i|¤Žt         |d«       |ddd¬«      «      d|› d|› �|¬«      «       |j                  t        t        d)d|i|¤Žt         |d«       |ddd¬«      «      d|› d|› �|¬«      «       |j                  t        t        d)d|i|¤Žt         |d«       |ddd¬«      «      d|› d|› �|¬«      «       |j                  t        t        d)d|i|¤Žt         |d«       |ddd¬«      «      d |› d|› �|¬«      «       |j                  dd «      ��ŒD|j                  t        t        d)d|i|¤Žt         |d!«       |d!«      j                  d	¬"«      «      d#|› d|› �|¬«      «       |j                  t        t        d)d|i|¤Žt         |d$«       |d$«      j                  d	¬"«      «      d%|› d|› �|¬«      «       |j                  t        t        d)d|i|¤Žt         |d&«       |d&«      j                  d	¬"«      «      d'|› d|› �|¬«      «       |j                  t        t        d)d|i|¤Žt         |d«       |d«      j                  d	¬"«      «      d(|› d|› �|¬«      «       |j                  t        t        d)d|i|¤Žt         |d«       |d)dd¬«      «      d*|› d|› �t        t        d+¬,«      ¬«      «       �Œñ |S )-NrÀ   F)r  rí   rñ   r5   r  r  rß  r  rK   Úlabel_smoothingg333333Ã?Úignore_index_label_smoothing)r  r˜  c                 ó    — t        ||fd|i|¤ŽS )Nrì   )r   )r‹   rÍ   rÕ   rÊ   rì   rõ   s         rG   r‡   z=module_inputs_torch_nn_CrossEntropyLoss.<locals>.reference_fn  s   € Ü/°°1Ñ`À	Ð`ÐM_Ñ`Ð`rI   rì   )rå   rÖ   r×   r×   )rå   r×   r×   r   rÖ   r…  Ú4d_rR   rƒ   )rå   rÖ   r×   )rå   r×   r  ©rå   rÖ   rå   Ú2d_)rå   rÖ   r×   r×   rå   rå   )rå   r×   r×   rå   rå   r  )r×   rÖ   rÅ   rå   r  Ú4d_prob_target_)r×   rÖ   rÅ   Ú3d_prob_target_)r×   rÖ   Ú2d_prob_target_Úhigher_dim_prob_target_rX   rb  Tra  )r   r
   rd   r  r   rL   r‚   r}   rú   Úsoftmaxr  )rN   r±   rU   rÁ   rV   rZ   rÛ   r  r  Ú
reductionsrû   rÜ   rì   r†   rõ   r‡   s                   rG   Ú'module_inputs_torch_nn_CrossEntropyLossr¤  
  s(  € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¼E¿J¹JÐV[Ô\€KÜœ+¨f¸EÐQVÔW€Kâ3€Jà	ˆRˆØ	�X™{¨4Ó0Ð1Ð2Ø	˜.¨!Ð,Ð-Ø	Ð.°Ð5Ð6Ø	'¸!ÐPTÑ)UÐVð%€Eð €MÜ18¸ÀUÓ1Kó DÑ-ˆ	Ñ-�DÐ,Ø/8ÐM_ó 	að 	×ÑÜ¬-Ñ*bÀ)Ð*bÐOaÑ*bÜ&3±J¸|Ó4LÙ4?À	ÈqÐWXÔ4Yó'[à" 4 &¨¨)¨Ð5Ø%1ô	3ô	
ð 	×ÑÜ¬-Ñ*bÀ)Ð*bÐOaÑ*bÜ&3±J¸yÓ4IÙ4?ÀÈAÐTUÔ4Vó'Xà" 4 &¨¨)¨Ð5Ø%1ô	3ô	
ð 	×ÑÜ¬-Ñ*bÀ)Ð*bÐOaÑ*bÜ&3±J¸vÓ4FÙ4?ÀÈÐQRÔ4Só'Uà" 4 &¨¨)¨Ð5Ø%1ô	3ô	
ð 	×ÑÜ¬-Ñ*bÀ)Ð*bÐOaÑ*bÜ&3±JÐ?QÓ4RÙ4?ÀÐUVÐ]^Ô4_ó'aà*¨4¨&°°)°Ð=Ø%1ô	3ô	
ð ×!Ñ! .°$Ó7Ò?Ø× Ñ Ü¬mÑ.fÀiÐ.fÐSeÑ.fÜ*7¹
À<Ó8PÙ8BÀ<Ó8P×8XÑ8XÐ]^Ð8XÓ8_ó+aà#2°4°&¸¸)¸Ð!EØ)5ô	7ôð × Ñ Ü¬mÑ.fÀiÐ.fÐSeÑ.fÜ*7¹
À9Ó8MÙ8BÀ9Ó8M×8UÑ8UÐZ[Ð8UÓ8\ó+^à#2°4°&¸¸)¸Ð!EØ)5ô	7ôð × Ñ Ü¬mÑ.fÀiÐ.fÐSeÑ.fÜ*7¹
À6Ó8JÙ8BÀ6Ó8J×8RÑ8RÐWXÐ8RÓ8Yó+[à#2°4°&¸¸)¸Ð!EØ)5ô	7ôð × Ñ Ü¬mÑ.fÀiÐ.fÐSeÑ.fÜ*7¹
ÐCUÓ8VÙ8BÐCUÓ8V×8^Ñ8^ÐcdÐ8^Ó8eó+gà#:¸4¸&ÀÀ)ÀÐ!MØ)5ô	7ôð × Ñ Ü¬mÑ.fÀiÐ.fÐSeÑ.fÜ*7¹
À4Ó8HÙ8CÀBÈAÐTUÔ8Vó+Xà#0°°°a¸	°{Ð!CÜ)0Ô1JÐY]Ô)^ô	`öð}DðL ÐrI   c                 óš  — t        t        |||¬«      }t        t        |d¬«      }di fdddifddd	ifd
ddifdddifg}t        j                  t        j                  g}	g }
t        |	|«      D �]Ú  \  }\  }}|fd„}|j                  dd«      }|dk(  rdnd}|dk(  rdnd}|
j                  t        t        di |¤Žt         |d«      j                  d«       |d|||¬«      dd«      |› d�|¬«      «       |
j                  t        t        di |¤Žt         |d«      j                  d«       |d|||¬«      t        j                  d|¬«      t        j                  d|¬«      «      |› d�|¬«      «       |
j                  t        t        di |¤Žt         |d«      j                  d«       |d|||¬«      dd«      |› d�|¬«      «       |
j                  t        t        di |¤Žt         |d«      j                  d«       |d|||¬«      t        j                  d|¬«      t        j                  d|¬«      «      |› d�|¬«      «       �ŒÝ |
S ) NrÀ   F)r±   rÁ   r5   rë   rì   rí   r  r  rð   rñ   Úblanké   c                 ó    — t        ||||fi |¤ŽS r>   )r   )r‹   rÍ   rÕ   rÊ   ÚilÚtlrõ   s          rG   r‡   z4module_inputs_torch_nn_CTCLoss.<locals>.reference_fnr  s   € Ü$ Q¨¨2¨rÑHÐ5GÑHÐHrI   r   rK   r  )é2   rÖ   r  rå   )rÖ   é   )rU   r†  r‡  )r«  r«  r«  )r¬  é   r&  Ú_lengths_intlistsrƒ   r  Ú_lengths_tensors)éK   Ú_1d_target_lengths_intlistsÚ_1d_target_lengths_tensorsrX   )r   r
   rd   Úintr  r   rú   rL   r‚   r}   r  Útensor)rN   r±   rU   rÁ   rV   rZ   rÛ   r  rû   Útarget_dtypesrÜ   Útarget_dtyper†   rõ   r‡   r¦  r†  r‡  s                     rG   Úmodule_inputs_torch_nn_CTCLossr·  c  sŸ  € Üœ¨V¸5ÐP]Ô^€JÜœ+¨fÀEÔJ€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1Ø	�7˜B�-Ð ð%€Eô —Y‘Y¤§
¡
Ð+€Mà€MÜ4;¸MÈ5Ó4Qó -
Ñ0ˆÑ0�tÐ/Ø@Ró 	Ið #×&Ñ& w°Ó2ˆØ˜B’;‰a AˆØ˜b’[‰r bˆà×ÑÜÜ"/Ñ"EÐ2DÑ"EÜ+©J°{Ó,C×,OÑ,OÐPQÓ,RÙ,7¸À|ÐY\ÐcgÔ,hØ,8¸,óHð �vÐ.Ð/Ø)ô+ô	
ð 	×ÑÜÜ"/Ñ"EÐ2DÑ"EÜ+©J°{Ó,C×,OÑ,OÐPQÓ,RÙ,7¸À|ÐY\ÐcgÔ,hÜ,1¯L©L¸ÈfÔ,UÜ,1¯L©L¸ÈfÔ,UóWð �vÐ-Ð.Ø)ô+ô		
ð 	×ÑÜÜ"/Ñ"EÐ2DÑ"EÜ+©J°{Ó,C×,OÑ,OÐPQÓ,RÙ,7¸È|ÐadÐkoÔ,pØ,8¸,óHð �vÐ8Ð9Ø)ô+ô	
ð 	×ÑÜÜ"/Ñ"EÐ2DÑ"EÜ+©J°{Ó,C×,OÑ,OÐPQÓ,RÙ,7¸È|ÐadÐkoÔ,pÜ,1¯L©L¸ÈfÔ,UÜ,1¯L©L¸ÈfÔ,UóWð �vÐ7Ð8Ø)ô+ö		
ðI-
ð^ ÐrI   c                 ó¤  — t        t        |||¬«      }t        t        ddd«      t         |d«      «      d¬«      t        t        ddd«      t         |d	«      «      d
¬«      t        t        ddd«      t         |d«      «      d¬«      t        t        dddd«      t         |d«      «      d¬«      t        t        dddd«      t         |d«      «      d¬«      t        t        ddd«      t         |d«      «      d¬«      t        t        dddd«      t         |d«      «      d¬«      t        t        dddd«      t         |d«      «      d¬«      gS )NrÀ   rÖ   rg  r2  )rÅ   rg  r×   Ú	1d_affinerk  r£  )rÅ   r£  Ú1d_affine_GNrK   )é–   rg  Ú1d_affine_large_batchr×   F©rÅ   r×   r×   Ú1d_no_affine_INrÂ   rÄ   Ú1d_no_affine_LN)rÅ   rg  rå   rÖ   Ú	2d_affine)rÅ   rÖ   rå   rÖ   Ú2d_no_affine_INÚ2d_no_affine_LNrÚ   rn  s          rG   Ú module_inputs_torch_nn_GroupNormrÃ  £  sU  € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨A¨q°$Ó7Ü'©
°9Ó(=Ó>Øô	ô 	Ü+¨A¨r°4Ó8Ü'©
°7Ó(;Ó<Øô	!ô 	Ü+¨A¨q°$Ó7Ü'©
°8Ó(<Ó=Ø(ô	*ô 	Ü+¨A¨q°$¸Ó>Ü'©
°9Ó(=Ó>Ø"ô	$ô 	Ü+¨A¨r°4¸Ó?Ü'©
°7Ó(;Ó<Ø"ô	$ô 	Ü+¨A¨q°$Ó7Ü'©
°<Ó(@ÓAØô	ô 	Ü+¨A¨q°$¸Ó>Ü'©
°<Ó(@ÓAØ"ô	$ô 	Ü+¨A¨q°$¸Ó>Ü'©
°<Ó(@ÓAØ"ô	$ð;!ð !rI   c           
      ó  — t        t        |||¬«      }t        t        d«      t         |d«      «      ¬«      t        t        d«      t         |d«      «      d¬«      t        t        «       t         |d«      «      t        d	¬
«      gS )NrÀ   r(  )rÅ   rÖ   rå   rÅ   rh  rX   rÞ  rk  rÅ   rØ   rc  rm  rn  s          rG   Ú!module_inputs_torch_nn_HardshrinkrÅ  Ê  s~   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨BÓ/Ü'©
°<Ó(@ÓAô	
ô 	Ü+¨BÓ/Ü'©
°2«Ó7Øô	
ô
 	Ü+›oÜ'©
°1«Ó6Ü2Øô		
ðð rI   c           	      óÆ   — t        t        |||¬«      }t        t        «       t         |d«      «      t        d¬«      t        t        «       t         |d«      «      d¬«      gS )NrÀ   rÅ   rØ   rc  rà  rá  rk  rm  rn  s          rG   Ú module_inputs_torch_nn_HardswishrÇ  à  s]   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+›oÜ'©
°1«Ó6Ü2Øô		
ô 	Ü+›oÜ'©
°<Ó(@ÓAØô	ðð rI   c           
      ó  — t        t        |||¬«      }t        t        «       t         |d«      «      d„ ¬«      t        t        «       t         |d«      «      d„ d¬«      t        t        «       t         |d	«      «      t        d
¬«      gS )NrÀ   rÚ  c                 ó&   — |j                  dd«      S ©NrÈ   rK   ©r  rÔ   s      rG   rÎ   z1module_inputs_torch_nn_Hardtanh.<locals>.<lambda>ø  ó   € ¨¯©°°Q«€ rI   rÏ   rX   c                 ó&   — |j                  dd«      S rÊ  rË  rÔ   s      rG   rÎ   z1module_inputs_torch_nn_Hardtanh.<locals>.<lambda>ý  rÌ  rI   rÞ  rc  rÅ   rØ   rm  rn  s          rG   Úmodule_inputs_torch_nn_HardtanhrÎ  ñ  s~   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+›oÜ'©
°9Ó(=Ó>Ù7ô	
ô
 	Ü+›oÜ'©
°2«Ó7Ù7Øô		
ô 	Ü+›oÜ'©
°1«Ó6Ü2Øô		
ðð rI   c                 ó”  — t        t        |||¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifdddifg}g }	|D �]   \  }
}|fd„}|	j                  t        t	        di |¤Žt	         |d«       |d«      j                  d«      j                  |«      j                  d«      j                  d«      «      |
|¬«      «       |	j                  t        t	        di |¤Žt	         |d«       |d«      j                  d«      j                  |«      j                  d«      j                  d«      «      d|
› �|¬«      «       �Œ |	S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   rÍ  r'  c                 ó   — t        ||fi |¤ŽS r>   )r   rô   s        rG   r‡   z?module_inputs_torch_nn_HingeEmbeddingLoss.<locals>.reference_fn  s   € Ü/°°1ÑKÐ8JÑKÐKrI   r  r   rå   rK   rƒ   rX   rø   )	r   r
   rL   r‚   r}   r‹  rŒ  r‘  Úsub_rÕ  s                rG   Ú)module_inputs_torch_nn_HingeEmbeddingLossrÒ  	  sx  € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1Ø	�H˜c�?Ð#ð%€Eð €MØ$)ó 
Ñ ˆÐ Ø8Jó 	Lð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸uÓ4EÙ4?ÀÓ4F×4IÑ4IÈ!Ó4L×4OÑ4OÐPUÓ4V×4[Ñ4[Ð\]Ó4^×4cÑ4cÐdeÓ4fó'hà!Ø%1ô	3ô	
ð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸r³NÙ4?À³O×4FÑ4FÀqÓ4I×4LÑ4LÈUÓ4S×4XÑ4XÐYZÓ4[×4`Ñ4`ÐabÓ4có'eà& t fÐ-Ø%1ô	3ö	
ð
ð& ÐrI   c                 óð   — t        t        |||¬«      }di fdddifdddifddd	ifg}g }|D ]G  \  }	}
|
fd
„}|j                  t        t	        di |
¤Žt	         |d«       |d«      «      |	|¬«      «       ŒI |S )NrÀ   r5   rë   rì   rí   r  r  rð   rñ   c                 ó   — t        ||fi |¤ŽS r>   )r   rô   s        rG   r‡   z6module_inputs_torch_nn_HuberLoss.<locals>.reference_fn8  rö   rI   r{  rƒ   rX   r<  r|  s               rG   Ú module_inputs_torch_nn_HuberLossrÕ  ,  s¸   € Üœ¨V¸5ÐP]Ô^€Jð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1ð	%€Eð €MØ$)ò 

Ñ ˆÐ Ø8Jó 	Cð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸wÓ4GÙ4>¸wÓ4Gó'Ià!Ø%1ô	3õ	
ð	

ð ÐrI   c                 óT  — t        t        |||¬«      }|j                  dd«      }|d   }d\  }	}
}}}dddd	œ}||   }d
|z   }t        |rt	        |
|«      nt	        |	|
|«      t	         ||«      «      ¬«      t        |rt	        |
|||«      nt	        |	|
|||«      t	         ||«      «      d¬«      t        |rt	        |
|«      nt	        |	|
|«      t	         ||«      «      t
        d¬«      t        |rt	        |
|||«      nt	        |	|
|||«      t	         ||«      «      t
        d¬«      gS )NrÀ   r©   Fr»  )rÖ   r2  r¬  FT)rÖ   r  rr  r}  ©rK   rå   rÖ   r`  rh  Útracking_statsrk  Útracking_stats_no_batch_dimrc  rØ   )r   r
   rú   r‚   r}   r  )rN   r±   rU   rÁ   rV   rZ   rÛ   r©   r»  Únum_featuresr.  r´  r©  Útrack_running_statsÚinput_no_batch_shape_dictrÇ  rÈ  s                    rG   Ú%module_inputs_torch_nn_InstanceNormNdrÝ  F  sQ  € Üœ¨V¸5ÐP]Ô^€JØ�:‰:�f˜eÓ$€DØˆs‰€AØ?XÑ<€L�#�x Ð)<Ø$+°	¸lÑ KÐØ4°QÑ7ÐØÐ3Ñ3Ðô 	á04”˜c 8Ô,¼-ÈÐVYÐ[cÓ:dä'©
Ð3DÓ(EÓFô		Hô
 	áMQ”˜c 8¨VÐ5HÔIÜ˜l¨C°¸6ÐCVÓWä'©
Ð3DÓ(EÓFØ!ô	#ô 	á04”˜c 8Ô,¼-ÈÐVYÐ[cÓ:dä'©
Ð3GÓ(HÓIÜ2Ø.ô	0ô 	áMQ”˜c 8¨VÐ5HÔIÜ˜l¨C°¸6ÐCVÓWä'©
Ð3GÓ(HÓIÜ2Øô	!ð)ð rI   c                 ó^  — t        t        |||¬«      }t        t        dgd«      t         |d«      «      d¬«      t        t        dgd«      t         |d«      «      d¬«      t        t        dgdd	«      t         |d«      «      d
¬«      t        t        g d¢d«      t         |d«      «      d¬«      t        t        g d¢dd	«      t         |d«      «      d¬«      t        t        dgd«      t         |d«      «      d¬«      t        t        g d¢ddd	¬«      t         |d«      «      d¬«      gS )NrÀ   r×   r2  r½  Ú1d_elementwise_affinerk  ©é€   r×   r×   Ú!1d_elementwise_affine_large_batchFÚ1d_no_elementwise_affine©rå   rå   r×   ©rÅ   rå   rå   r×   Ú3d_elementwise_affineÚ3d_no_elementwise_affine©r   r×   Ú1d_empty_elementwise_affineT)Úelementwise_affinerÑ   Ú3d_elementwise_affine_no_biasrÚ   rn  s          rG   Ú module_inputs_torch_nn_LayerNormrì  m  s+  € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨Q¨C°Ó6Ü'©
°9Ó(=Ó>Ø(ô	*ô 	Ü+¨Q¨C°Ó6Ü'©
°;Ó(?Ó@Ø4ô	6ô 	Ü+¨Q¨C°°uÓ=Ü'©
°9Ó(=Ó>Ø+ô	-ô 	Ü+ªI°tÓ<Ü'©
°<Ó(@ÓAØ(ô	*ô 	Ü+ªI°t¸UÓCÜ'©
°<Ó(@ÓAØ+ô	-ô 	Ü+¨Q¨C°Ó6Ü'©
°6Ó(:Ó;Ø.ô	0ô 	Ü+ªI°tÐPTÐ[`ÔaÜ'©
°<Ó(@ÓAØ0ô	2ð3ð rI   c                 ó  — t        t        |||¬«      }d„ }t        t        dgd«      t         |d«      «      d|¬«      t        t        dgd«      t         |d«      «      d	|¬«      t        t        dgdd
«      t         |d«      «      d|¬«      t        t        g d¢d«      t         |d«      «      d|¬«      t        t        g d¢dd
«      t         |d«      «      d|¬«      t        t        dgd«      t         |d«      «      d|¬«      gS )NrÀ   c                 óê  — | j                   }|€)t        j                  |j                  «      j                   }|j                  }| j
                  }| j                  }t        t        |«      «      D �cg c]
  }||z
  dz
  ‘Œ }}j                  «       }|t        j                  |j                  d«      j                  |d¬«      | j                   z   «      z  }	|�|	|z  }	|	j                  |«      S c c}w )NrK   rå   T)r  Úkeepdim)r.  rd   ÚfinforU   ÚndimÚnormalized_shaper  rÂ  rc   ÚfloatÚrsqrtr9  r  rK  )
r‹   rÍ   rÕ   r.  rñ  rò  r  ÚdimsÚ
upcasted_ir²   s
             rG   Úrms_norm_reference_fnz=module_inputs_torch_nn_RMSNorm.<locals>.rms_norm_reference_fn’  sÕ   € Ø�e‰eˆØˆ;Ü—+‘+˜aŸg™gÓ&×*Ñ*ˆCØ�v‰vˆØ×-Ñ-ÐØ—‘ˆÜ&+¬CÐ0@Ó,AÓ&BÖC ��q‘˜1“ÐCˆÐCØ—W‘W“Yˆ
ØœeŸk™k¨*¯.©.¸Ó*;×*@Ñ*@ÀTÐSWÐ*@Ó*XÐ[\×[`Ñ[`Ñ*`ÓaÑaˆØÐØ�fÑˆFØ�~‰~˜aÓ Ð ùò Ds   Á2C0r×   r2  r½  rß  rƒ   rà  râ  Frã  rä  rå  ræ  rç  rè  ré  rÚ   )rN   r±   rU   rÁ   rV   rZ   rÛ   r÷  s           rG   Úmodule_inputs_torch_nn_RMSNormrø  �  s  € Üœ¨V¸5ÐP]Ô^€Jò!ô 	Ü+¨Q¨C°Ó6Ü'©
°9Ó(=Ó>Ø(Ø.ô		0ô
 	Ü+¨Q¨C°Ó6Ü'©
°;Ó(?Ó@Ø4Ø.ô		0ô
 	Ü+¨Q¨C°°uÓ=Ü'©
°9Ó(=Ó>Ø+Ø.ô		0ô
 	Ü+ªI°tÓ<Ü'©
°<Ó(@ÓAØ(Ø.ô		0ô
 	Ü+ªI°t¸UÓCÜ'©
°<Ó(@ÓAØ+Ø.ô		0ô
 	Ü+¨Q¨C°Ó6Ü'©
°6Ó(:Ó;Ø.Ø.ô		0ð5ð rI   c           
      ó  — t        t        |||¬«      }t        t        d«      t         |d«      «      d¬«      t        t        d«      t         |d«      «      d¬«      t        t        d	d
dd«      t         |d«      «      d¬«      gS )NrÀ   rÖ   )rK   r×   rš  r  rk  rå   )rK   r×   rš  rš  Ú2d_uneven_padrK   rï  r'  r(  )rK   r×   rš  rš  rš  Ú3d_custom_paramsrÚ   rn  s          rG   Ú(module_inputs_torch_nn_LocalResponseNormrü  Â  s‰   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨AÓ/Ü'©
°9Ó(=Ó>Øô	ô 	Ü+¨AÓ/Ü'©
°<Ó(@ÓAØ ô	"ô 	Ü+¨A¨r°3¸Ó;Ü'©
°?Ó(CÓDØ#ô	%ðð rI   c           
      ó  — t        t        |||¬«      }t        t        dd«      t         |d«      «      d¬«      t        t        ddd«      t         |d«      «      ¬«      t        t        ddd«      t         |d	«      «      t        d
¬«      gS )NrÀ   ç      ø?rå   )rK   rÖ   rš  Únormrk  rÖ   rh  )rÖ   rš  rØ   rc  rm  rn  s          rG   Úmodule_inputs_torch_nn_LPPool1dr   Õ  sŽ   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨C°Ó3Ü'©
°9Ó(=Ó>Øô	ô 	Ü+¨A¨q°!Ó4Ü'©
°9Ó(=Ó>ô	@ô 	Ü+¨A¨q°!Ó4Ü'©
°6Ó(:Ó;Ü2Øô		!ðð rI   c           
      ó  — t        t        |||¬«      }t        t        ddd«      t         |d«      «      ¬«      t        t        ddd«      t         |d«      «      t        d¬«      t        t        dd«      t         |d«      «      d	¬
«      gS )NrÀ   rå   ©rK   rÖ   rš  rš  rh  ©rÖ   rš  rš  rØ   rc  rþ  rÿ  rk  rm  rn  s          rG   Úmodule_inputs_torch_nn_LPPool2dr  é  sŽ   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨A¨q°!Ó4Ü'©
°<Ó(@ÓAô	Cô 	Ü+¨A¨q°!Ó4Ü'©
°9Ó(=Ó>Ü2Øô		!ô
 	Ü+¨C°Ó3Ü'©
°<Ó(@ÓAØô	ðð rI   c           
      ó  — t        t        |||¬«      }t        t        ddd«      t         |d«      «      ¬«      t        t        ddd«      t         |d«      «      t        d¬«      t        t        dd«      t         |d«      «      d	¬
«      gS )NrÀ   rå   )rK   rÖ   rš  rš  rš  rh  )rÖ   rš  rš  rš  rØ   rc  rþ  rÿ  rk  rm  rn  s          rG   Úmodule_inputs_torch_nn_LPPool3dr  ü  sŽ   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨A¨q°!Ó4Ü'©
°?Ó(CÓDô	Fô 	Ü+¨A¨q°!Ó4Ü'©
°<Ó(@ÓAÜ2Øô		!ô
 	Ü+¨C°Ó3Ü'©
°?Ó(CÓDØô	ðð rI   c           
      ó  — t        t        |||¬«      }t        t        d«      t         |d«      «      d¬«      t        t        dd«      t         |d«      «      d¬«      t        t        dd¬«      t         |d«      «      d	¬«      gS )
NrÀ   rÅ   )rå   rÂ   rÅ   rª  rk  rj  T©Úreturn_indicesr	  rÚ   rn  s          rG   Ú module_inputs_torch_nn_MaxPool1dr
    s‡   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨AÓ.Ü'©
°:Ó(>Ó?Øô	ô 	Ü+¨A¨qÓ1Ü'©
°:Ó(>Ó?Øô	ô 	Ü+¨A¸dÔCÜ'©
°:Ó(>Ó?Ø!ô	#ðð rI   c           
      ó  — t        t        |||¬«      }t        t        ddd«      t         |d«      «      d¬«      t        t        ddd«      t         |d«      «      d	¬«      t        t        dddd
¬«      t         |d«      «      d¬«      gS )NrÀ   ©rÖ   rÖ   rq  rt  r  rª  rk  r  rá  Tr  r	  rÚ   rn  s          rG   Ú module_inputs_torch_nn_MaxPool2dr  "  s’   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨F°F¸FÓCÜ'©
°9Ó(=Ó>Øô	ô 	Ü+¨F°F¸FÓCÜ'©
°<Ó(@ÓAØô	ô 	Ü+¨F°F¸FÐSWÔXÜ'©
°<Ó(@ÓAØ!ô	#ðð rI   c                 ó`  — t        t        |||¬«      }t        t        d«      t         |d«      «      ¬«      t        t        dd«      t         |d«      «      d¬«      t        t        ddd«      t         |d«      «      d	¬«      t        t        dddd
¬«      t         |d«      «      d¬«      gS )NrÀ   r|  r  rh  rå   rj  rk  r€  Ústride_paddingTr  r	  rÚ   rn  s          rG   Ú module_inputs_torch_nn_MaxPool3dr  4  s¯   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨IÓ6Ü'©
°?Ó(CÓDô	Fô 	Ü+¨A¨yÓ9Ü'©
°?Ó(CÓDØô	ô 	Ü+¨A¨q°)Ó<Ü'©
°?Ó(CÓDØ!ô	#ô 	Ü+¨A¨q°)ÈDÔQÜ'©
°?Ó(CÓDØ!ô	#ðð rI   c                 ó  ‡— t        t        ‰||¬«      }ˆfd„}t        t        dd |«       ¬«      t         |d«      «      d¬«      t        t        d	d
 |«       ¬«      t         |d«      «      d¬«      t        t        dd |«       d¬«      t         |d«      «      d¬«      t        t        dd |«       ¬«      t         |d«      «      t        d¬«      t        t        d	d
 |«       ¬«      t         |d«      «      t        d¬«      gS )NrÀ   c                  ól   •— t        j                  dt         j                  ‰ ¬«      j                  «       S )N)rK   rÖ   rå   ©rU   r±   ©rd   r  Údoubler  r  s   €rG   Úmake_random_sampleszGmodule_inputs_torch_nn_FractionalMaxPool2d.<locals>.make_random_samplesM  ó#   ø€ Ü�{‰{˜9¬E¯L©LÀÔH×QÑQÓSÐSrI   rå   r'  ©Úoutput_ratioÚ_random_samples)rK   rÖ   r×   rš  Úratiork  rœ  )rÅ   rÖ   ©Úoutput_sizer  )rK   rÖ   rš  rg  ÚsizeT©r  r  r	  Úratio_return_indices)rÖ   r×   rš  Úratio_no_batch_dimrc  )rÖ   rš  rg  Úsize_no_batch_dimrm  ©rN   r±   rU   rÁ   rV   rZ   rÛ   r  s    `      rG   Ú*module_inputs_torch_nn_FractionalMaxPool2dr$  J  s  ø€ Üœ¨V¸5ÐP]Ô^€JôTô 	Ü+¨A¸CÑQdÓQfÔgÜ'©
°<Ó(@ÓAØô	ô 	Ü+¨FÀÑXkÓXmÔnÜ'©
°<Ó(@ÓAØô	ô 	Ü+Ø Ñ5HÓ5JÐ[_ôô (©
°<Ó(@ÓAØ'ô	)ô 	Ü+¨A¸CÑQdÓQfÔgÜ'©
°9Ó(=Ó>Ü2Ø%ô		'ô
 	Ü+¨FÀÑXkÓXmÔnÜ'©
°9Ó(=Ó>Ü2Ø$ô		&ð)ð rI   c                 ój  ‡— t        t        ‰||¬«      }ˆfd„}t        t        dd |«       ¬«      t         |d«      «      d¬«      t        t        d	d
 |«       ¬«      t         |d«      «      d¬«      t        t        dd |«       ¬«      t         |d«      «      d¬«      t        t        dd |«       d¬«      t         |d«      «      d¬«      t        t        dd |«       ¬«      t         |d«      «      t        d¬«      t        t        d	d
 |«       ¬«      t         |d«      «      t        d¬«      gS )NrÀ   c                  ól   •— t        j                  dt         j                  ‰ ¬«      j                  «       S )N)rå   rÅ   rÖ   r  r  r  s   €rG   r  zGmodule_inputs_torch_nn_FractionalMaxPool3d.<locals>.make_random_sampleso  r  rI   rå   r'  r  )rå   rÅ   r×   r×   r×   r  rk  r|  )rÅ   rÅ   rÅ   r  )rå   rÅ   rš  rš  rš  r  )rÅ   rå   rÖ   )rÂ   rÖ   rå   )rå   rÅ   é   rš  r×   ÚasymsizeTr  r   )rÅ   r×   r×   r×   r!  rc  )rÅ   rš  rš  rš  r"  rm  r#  s    `      rG   Ú*module_inputs_torch_nn_FractionalMaxPool3dr)  l  s/  ø€ Üœ¨V¸5ÐP]Ô^€JôTô 	Ü+¨A¸CÑQdÓQfÔgÜ'©
°?Ó(CÓDØô	ô 	Ü+¨IÀ9Ñ^qÓ^sÔtÜ'©
°?Ó(CÓDØô	ô 	Ü+¨IÀ:Ñ_rÓ_tÔuÜ'©
Ð3CÓ(DÓEØô	ô 	Ü+Ø Ñ5HÓ5JÐ[_ôô (©
°?Ó(CÓDØ'ô	)ô 	Ü+¨A¸CÑQdÓQfÔgÜ'©
°<Ó(@ÓAÜ2Ø%ô		'ô
 	Ü+¨IÀ9Ñ^qÓ^sÔtÜ'©
°<Ó(@ÓAÜ2Ø$ô		&ð1ð rI   c                 óV  — t        t        |||¬«      }t        t        «       t         |d«      «      d¬«      t        t        «       t         |d«      «      t        d¬«      t        t        «       t         |d«      «      d	¬«      t        t        «       t         |d
«      «      d¬«      gS rù  rm  rn  s          rG   Úmodule_inputs_torch_nn_Sigmoidr+  ’  sš   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+›oÜ'©
°2«Ó7Øô	
ô
 	Ü+›oÜ'©
°1«Ó6Ü2Øô		
ô 	Ü+›oÜ'©
°<Ó(@ÓAØ+ô	
ô
 	Ü+›oÜ'©
°?Ó(CÓDØ.ô	
ð#ð rI   c           
      ó  — t        t        |||¬«      }t        t        «       t         |d«      «      d„ d¬«      t        t        «       t         |d«      «      d„ ¬«      t        t        «       t         |d	«      «      t        d
¬«      gS )NrÀ   rX   c                 ó>   — |j                  «       j                  «       S r>   ©r   rù   rÔ   s      rG   rÎ   z3module_inputs_torch_nn_LogSigmoid.<locals>.<lambda>µ  ó   € ¨¯©«¯©Ó):€ rI   rÞ  rc  r  c                 ó>   — |j                  «       j                  «       S r>   r.  rÔ   s      rG   rÎ   z3module_inputs_torch_nn_LogSigmoid.<locals>.<lambda>»  r/  rI   rÏ   rÅ   rØ   rm  rn  s          rG   Ú!module_inputs_torch_nn_LogSigmoidr1  ®  s~   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+›oÜ'©
°2«Ó7Ù:Øô		
ô 	Ü+›oÜ'©
°9Ó(=Ó>Ù:ô	
ô
 	Ü+›oÜ'©
°1«Ó6Ü2Øô		
ðð rI   c                 óf  — t        t        |||¬«      }t        t        |t        j                  d¬«      }di fdddifdddifd	dd
ifdddifg}g }	|D ]\  \  }
}|fd„}|	j	                  t        t        di |¤Žt         |d«       |d«       |d«      j                  «       «      |
|¬«      «       Œ^ |	S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   rÍ  r'  c                 ó   — t        |||fi |¤ŽS r>   )r!   rÏ  s         rG   r‡   z>module_inputs_torch_nn_MarginRankingLoss.<locals>.reference_fnÔ  s   € Ü.¨r°2°qÑOÐ<NÑOÐOrI   )r«  rƒ   rX   )r   r
   rd   r  rL   r‚   r}   rÔ  rÕ  s                rG   Ú(module_inputs_torch_nn_MarginRankingLossr4  Æ  sê   € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¼E¿J¹JÐV[Ô\€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1Ø	�H˜c�?Ð#ð%€Eð €MØ$)ò 

Ñ ˆÐ Ø=Oó 	Pð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸uÓ4EÁzÐRWÓGXÙ4?ÀÓ4F×4KÑ4KÓ4Mó'Oà!Ø%1ô	3õ	
ð	

ð ÐrI   c                 ó¾  — t        t        |||¬«      }t        t        |t        j                  d¬«      }di fdddifdddifd	dd
ifg}g }	|D ]�  \  }
}|fd„}|	j	                  t        t        di |¤Žt         |d«       |ddd¬«      «      d|
› �|¬«      «       |	j	                  t        t        di |¤Žt         |d«       |ddd¬«      «      |
|¬«      «       Œ� |	S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   c                 ó   — t        ||fi |¤ŽS r>   )r#   rô   s        rG   r‡   zAmodule_inputs_torch_nn_MultiLabelMarginLoss.<locals>.reference_fnï  s   € Ü1°!°QÑMÐ:LÑMÐMrI   r  rÂ   r   r…  Ú1d_rƒ   r{  rX   ©r   r
   rd   r  rL   r‚   r}   rÕ  s                rG   Ú+module_inputs_torch_nn_MultiLabelMarginLossr9  â  s  € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¼E¿J¹JÐV[Ô\€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1ð	%€Eð €MØ$)ò 
Ñ ˆÐ Ø8Jó 	Nð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸uÓ4EÙ4?ÀÈ!ÐRTÔ4Uó'Wà" 4 &˜\Ø%1ô	3ô	
ð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸wÓ4GÙ4?ÀÈQÐUWÔ4Xó'Zà!Ø%1ô	3õ	
ð
ð( ÐrI   c                 óˆ  — t        t        |||¬«      }t        t        |t        j                  d¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifdddifdddifdd |d«      ifg}	g }
|	D ]J  \  }}|fd„}|
j	                  t        t        di |¤Žt         |d«       |ddd¬«      «      ||¬«      «       ŒL |
S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   rÍ   rå   rÍ  r'  r  r  rÂ   c                 ó   — t        ||fi |¤ŽS r>   )r"   rô   s        rG   r‡   z<module_inputs_torch_nn_MultiMarginLoss.<locals>.reference_fn	  s   € Ü,¨Q°ÑHÐ5GÑHÐHrI   r{  r×   r   r…  rƒ   rX   r8  )rN   r±   rU   rÁ   rV   rZ   rÛ   r  r  rû   rÜ   r†   rõ   r‡   s                 rG   Ú&module_inputs_torch_nn_MultiMarginLossr<  	  s  € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¼E¿J¹JÐV[Ô\€KÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1Ø	ˆs�AˆhˆØ	�H˜c�?Ð#Ø	�X™{¨2›Ð/Ð0ð%€Eð €MØ$)ò 

Ñ ˆÐ Ø8Jó 	Ið 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸wÓ4GÙ4?ÀÈÐQSÔ4Tó'Và!Ø%1ô	3õ	
ð	

ð ÐrI   c                 ó†  — t        t        |||¬«      }t        t        |t        j                  d¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifdd |d«      ifg}	dd„}
g }|	D ]O  \  }}|j	                  t        t        di |¤Žt         |d«       |ddd¬«      «      |t        |
fi |¤Ž¬«      «       ŒQ |S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   r  rÂ   c                 ó`  — ||j                  «       j                  «       z  d|z
  | j                  «       j                  «       z  z   }|�||z  }| j                  |j                  «       dz
  «      |j	                  d«      z  }|dk(  r|S |dk(  r|j                  «       S |j                  «       S )NrK   rÈ   rñ   r  )r   rù   rí   r  r  r  r�  s          rG   Ú&multilabelsoftmargin_loss_reference_fnz_module_inputs_torch_nn_MultiLabelSoftMarginLoss.<locals>.multilabelsoftmargin_loss_reference_fn1	  sœ   € Ø�Q—Y‘Y“[—_‘_Ó&Ñ&¨!¨a©%°Q°B·<±<³>×3EÑ3EÓ3GÑ)GÑGˆØÐØ�fÑˆFØ�'—‘˜qŸu™u›w¨™{Ó+¨a¯f©f°R«jÑ8ˆà˜ÒØˆMØ˜&Ò Ø—;‘;“=Ð à—:‘:“<ÐrI   r{  r   rå   r…  rƒ   r‰  rX   r8  )rN   r±   rU   rÁ   rV   rZ   rÛ   r  r  rû   r?  rÜ   r†   rõ   s                 rG   Ú/module_inputs_torch_nn_MultiLabelSoftMarginLossr@  $	  sû   € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¼E¿J¹JÐV[Ô\€KÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1Ø	�H™k¨"›oÐ.Ð/ð%€Eó ð €MØ$)ò 
Ñ ˆÐ Ø×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸wÓ4GÙ4?ÀÈQÐUVÔ4Wó'Yà!Ü%,Ð-SÑ%jÐWiÑ%jô	lõ	
ð
ð ÐrI   c                 ó2  — t        t        |||¬«      }t        t        ||d¬«      }di fdddifdddifd	dd
ifg}g }	|D ]U  \  }
}|fd„}|	j                  t        t	        di |¤Žt	         |d«       |d«      j                  «       «      |
|¬«      «       ŒW |	S )NrÀ   Fr5   rë   rì   rí   r  r  rð   rñ   c                 ó   — t        ||fi |¤ŽS r>   )r'   rô   s        rG   r‡   z;module_inputs_torch_nn_SoftMarginLoss.<locals>.reference_fnX	  s   € Ü+¨A¨qÑGÐ4FÑGÐGrI   )r×   r×   rƒ   rX   rÓ  rÕ  s                rG   Ú%module_inputs_torch_nn_SoftMarginLossrC  K	  sÒ   € Üœ¨V¸5ÐP]Ô^€JÜœ+¨f¸EÐQVÔW€Kð 
ˆRˆØ	˜;¨Ð.Ð/Ø	˜K¨Ð0Ð1Ø	˜K¨Ð0Ð1ð	%€Eð €MØ$)ò 

Ñ ˆÐ Ø8Jó 	Hð 	×ÑÜ¬-Ñ*MÐ:LÑ*MÜ&3±J¸vÓ4FÙ4?ÀÓ4G×4LÑ4LÓ4Nó'Pà!Ø%1ô	3õ	
ð	

ð ÐrI   c           	      óÈ  — g }t        d ||||«      D ]Í  }|j                  j                  |j                  j                  }	}||	d<   ||	d<   t	        j
                  j                  |i |	¤Ž}
d}|j                  }d|j                  v r)|j                  d   |j                  d<   |j                  d= |j                  t        t        |
|«      ||j                  ¬«      «       ŒÏ |S )Nr±   rU   rå   Úsrc_maskÚmaskrk  )Ú.module_inputs_torch_nn_TransformerEncoderLayerr„   rY   rZ   rd   r¨   ÚTransformerEncoderLayerr…   rL   r‚   r}   r†   )rN   r±   rU   rÁ   rV   rZ   ÚsamplesÚlayer_module_inputÚl_argsÚl_kwargsÚencoder_layerÚ
num_layersr…   s                rG   Ú)module_inputs_torch_nn_TransformerEncoderrO  f	  sô   € à€GÜLØ�&˜% °ó:ò Ðð /×@Ñ@×EÑEØ.×@Ñ@×GÑGð ˆà#ˆ�ÑØ!ˆ�ÑÜŸ™×8Ñ8¸&ÐMÀHÑMˆØˆ
ð +×8Ñ8ˆØ˜×-Ñ-Ñ-Ø+8×+?Ñ+?À
Ñ+KˆM× Ñ  Ñ(Ø×$Ñ$ ZÐ0Ø�‰”{Ü+¨M¸:ÓFØ'Ø#×(Ñ(ô
õ 	ðð( €NrI   c                 óÎ  — t        t        |||¬«      }t        t        dddd«      t         |d«      «      d¬«      t        t        ddd	dt        j
                  «      t         |d«      «      d
¬«      t        t        ddd	dd¬«      t         |d«      «      d¬«      g}d t        j                  g d¢|t        j                  ¬«      f}d t        j                  g d¢|t        j                  ¬«      j                  d«      f}	t        j                  |	|ddd«      D ]]  \  }
}}}}|j                  t        t        ddd	d|||¬«      t         |d«      |
|¬«      t        t        |ddi¬«      d|› �¬«      «       Œ_ d„ }|ret        j                  dd«      D ]L  \  }}|j                  t        t        ddd	dd||¬«      t         |d«      «      |r|nd d|› d|› �¬«      «       ŒN |S )NrÀ   rÅ   rå   r'  r›   r  Úrelu_activationrk  rÃ   Úgelu_activationFrÐ   rÒ   ©FFT©r±   rU   r  ©TF©Úd_modelÚnheadÚdim_feedforwardÚdropoutrE  Ú
norm_firstrÑ   r”  )rE  Úsrc_key_padding_maskr\  r   ©rE  rF  Úno_batch_dim_batch_first_rc  c                 óÈ   — | j                   sJ ‚| j                  d«       t        j                  «       5   | |i |¤Ž}d d d «       | j                  d«       S # 1 sw Y   ŒxY w)NFT)rV   Útrainrd   Úno_grad)ÚmodulerŠ   rY   rZ   rP  s        rG   Úfast_path_reference_fnzNmodule_inputs_torch_nn_TransformerEncoderLayer.<locals>.fast_path_reference_fn®	  sX   € Ø�ŠÐˆØ�‰�UÔÜ�]‰]‹_ñ 	-Ù˜TÐ, VÑ,ˆF÷	-à�‰�TÔØˆ÷	-ð 	-ús   ´	AÁA!T)rZ  rE  r[  rÑ   Ú	fastpath_Ú_norm_first_)r   r
   r‚   r}   rk  Úgelurd   r´  ÚboolrÌ   rÃ  r   rL   r  )rN   r±   rU   rÁ   rV   rZ   rÛ   rI  Úkey_padding_masksÚ
attn_masksrE  r\  r[  rE  rÑ   rc  s                   rG   rG  rG  	  s  € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨A¨q°"°cÓ:Ü'Ù˜9Ó%óð #ô	
ô 	Ü+¨A¨q°!°S¼!¿&¹&ÓAÜ'Ù˜9Ó%óð #ô	
ô 	Ü+¨A¨q°!°S¸uÔEÜ'Ù˜9Ó%óð ô	
ð€Gð0 œuŸ|™|Ò,@ÈÔW\×WaÑWaÔbÐcÐØœŸ™Ò%9À&ÔPU×PZÑPZÔ[×bÑbÐciÓjÐk€Jä×Ñ˜jÐ*;¸]ÈMÐ[hÓiòÑEˆÐ&¨
°KÀà�‰ÜÜ"/¸ÀÐTUØ8;ÈØ;EÈDô#Rô ,Ù˜vÓ&°ÐPdôô %Ô%>Ø1<ÐRhÐjkÐQlônà0°°Ð>ô
õ	ðò$ñ Ü )× 1Ñ 1°-ÀÓ Oò 	ÑˆJ˜Ø�N‰NÜÜ&3Ø˜1˜a¨¸$È:Ð\`ô'ô #0Ù" 9Ó-ó#ñ <@Ñ!7ÀTØ$ T F¨,°z°lÐCô
õð	ð €NrI   c                 óp  — t        t        |||¬«      }t        t        dddd«      t         |d«       |d«      «      d¬«      t        t        ddd	dt        j
                  «      t         |d«       |d«      «      d
¬«      t        t        ddd	dd¬«      t         |d«       |d«      «      d¬«      g}d t        j                  g d¢|t        j                  ¬«      f}d t        j                  g d¢|t        j                  ¬«      j                  d«      f}	t        j                  |	|ddd«      D �]  \  }
}}}}|
}|}|j                  t        t        ddd	d|||¬«      t         |d«       |d«      |
|||¬«      t        t        |dddœ¬«      d|› �¬«      «        |d«       |d«      }}|s$|j                  dd«      |j                  dd«      }}|�|j                  dd«      fdz  \  }}|j                  t        t        ddd	d|||¬«      t        |||
|||¬«      d|› d|› d|› �¬«      «       �Œ |S )NrÀ   rÅ   rå   r'  r›   r  rQ  rk  rÃ   rR  FrÐ   rÒ   rS  rT  r  rU  rV  r”  )Útgt_maskÚmemory_maskÚtgt_key_padding_maskÚmemory_key_padding_maskr   )rm  rn  r]  r^  rc  rK   rÖ   Únorm_first_Ú_batch_first_Ú_bias_)r   r
   r‚   r}   rk  rf  rd   r´  rg  rÌ   rÃ  r   rL   r  Ú	transpose)rN   r±   rU   rÁ   rV   rZ   rÛ   rI  rh  ri  rk  rm  r[  rÑ   rE  rl  rn  ÚsrcÚtgts                      rG   Ú.module_inputs_torch_nn_TransformerDecoderLayerru  É	  sˆ  € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨A¨q°"°cÓ:Ü'Ù˜9Ó%¡z°)Ó'<óð #ô	
ô 	Ü+¨A¨q°!°S¼!¿&¹&ÓAÜ'Ù˜9Ó%¡z°)Ó'<óð #ô	
ô 	Ü+¨A¨q°!°S¸uÔEÜ'Ù˜9Ó%¡z°)Ó'<óð ô	
ð€Gð. œuŸ|™|Ò,@ÈÔW\×WaÑWaÔbÐcÐØœŸ™Ò%9À&ÔPU×PZÑPZÔ[×bÑbÐciÓjÐk€Jä×Ñ˜jÐ*;¸]ÈMÐ[hÓió"ÑEˆÐ&¨
°D¸+ð ˆØ"6ÐØ�‰ÜÜ"/¸ÀÐTUØ8;ÈØ;EÈDô#Rô ,Ù˜vÓ&©
°6Ó(:ÀXÐ[fØ)=ÐWnôô %Ô%>Ø1<ØQRÐopÑ8qôsð 1°°Ð>ôô	ñ ˜iÓ(©*°YÓ*?ˆSˆÙØ—}‘} Q¨Ó*¨C¯M©M¸!¸QÓ,?�ˆCØÐ+Ø=Q×=XÑ=XÐYZÐ\]Ó=^Ð<`ÐcdÑ<dÑ9Ð#Ð%9Ø�‰ÜÜ"/¸ÀÐTUØ8;ÈØ;EÈDô#Rô ,Ø˜ x¸[Ø)=ÐWnôð # : ,¨m¸K¸=ÈÈtÈfÐUô	ö
	ð1"ðH €NrI   c                 óD  — t        t        |||¬«      }g }d t        j                  g d¢|t        j                  ¬«      f}d t        j                  g d¢|t        j                  ¬«      j                  d«      f}	t        j                  |	|ddd«      D �]
  \  }
}}}}|
fdz  \  }}|fdz  \  }}|j                  t        t        dddd	d	d
|||¬«	      t         |d«       |d«      ||||¬«      t        t        |dddœ¬«      d|› �¬«      «        |d«       |d«      }}|s$|j                  dd	«      }|j                  dd	«      }|�|j                  dd«      fdz  \  }}|j                  t        t        dddd	d	d
|||¬«	      t        ||||||¬«      ¬«      «       �Œ |S )NrÀ   rS  rT  r  rU  rå   rÅ   rÃ   rK   r›   )	rW  rX  rY  Únum_encoder_layersÚnum_decoder_layersrZ  rE  r[  rÑ   r”  )rk  rE  rm  r\  r   )rm  r\  r]  r^  rc  r  rÖ   rh  )r   r
   rd   r´  rg  rÌ   rÃ  r   rL   r‚   r}   r  rr  )rN   r±   rU   rÁ   rV   rZ   rÛ   rI  rh  ri  rF  rR  r[  rÑ   rE  rE  rk  r\  rm  rs  rt  s                        rG   Ú"module_inputs_torch_nn_Transformerry  
  sð  € Üœ¨V¸5ÐP]Ô^€JØ€GàœuŸ|™|Ò,@ÈÔW\×WaÑWaÔbÐcÐØœŸ™Ò%9À&ÔPU×PZÑPZÔ[×bÑbÐciÓjÐk€Jä×Ñ˜jÐ*;¸]ÈMÐ[hÓió$Ñ=ˆÐ 
¨D°+ð  $˜g¨™kÑˆ�8Ø6FÐ5HÈ1Ñ5LÑ2ÐÐ2Ø�‰ÜÜ"/¸ÀÐTUØCDÐYZØ8;ÈÐakÐrvô#xô ,Ù˜vÓ&©
°6Ó(:ÀXÐX`Ø)=ÐThôô %Ô%>Ø1<ØQRÐlmÑ8nôpð 1°°Ð>ôô	ñ ˜iÓ(©*°YÓ*?ˆSˆÙØ—-‘-  1Ó%ˆCØ—-‘-  1Ó%ˆCØÐ'Ø:J×:QÑ:QÐRSÐUVÓ:WÐ9YÐ\]Ñ9]Ñ6Ð Ð"6à�‰ÜÜ"/¸ÀÐTUØCDÐYZØ8;ÈÐakÐrvô#xô ,Ø˜ x¸(Ø)=ÐThôô	ö		ð7$ðJ €NrI   c           
      óV  — t        t        j                  |t        j                  d¬«      }t	        t        dd¬«      t         |dd«      j                  d«      «      ¬«      t	        t        dd¬«      t         |dd	«      j                  d«      j                  d
d	«      «      d¬«      gS )NFrÀ   rÅ   rÖ   )Únum_embeddingsÚembedding_dimrå   rh  rK   i   rš  Údiscontiguousrk  )r   rd   r  r  r‚   r}   Úrandom_rÌ   )rN   r±   rU   rÁ   rV   rZ   Ú
make_emptys          rG   Ú module_inputs_torch_nn_Embeddingr€  :
  s�   € ÜœŸ™¨V¼5¿:¹:ÐUZÔ[€JäÜ+¸1ÈAÔNÜ'©
°1°aÓ(8×(@Ñ(@ÀÓ(CÓDô	
ô 	Ü+¸1ÈAÔNÜ'©
°1°cÓ(:×(BÑ(BÀ1Ó(E×(LÑ(LÈQÐPSÓ(TÓUØ ô	
ð
ð 
rI   c                 óœ  — t        t        |||¬«      }g }d}d t        j                  g d¢|t        j                  ¬«      f}	d t        j                  g d¢|t        j                  ¬«      j                  d«      f}
t        j                  ||||	|
«      }|D ]³  \  }}}}}|j                  t        t        ddd|||¬«      t         |d	«       |d	«       |d	«      ||¬
«      t        ¬«      «       |j                  t        t        ddd|||¬«      t         |d	«       |d	«       |d	«      ||¬
«      t        t        d¬«      ¬«      «       Œµ |S )NrÀ   rU  rS  rT  )rÖ   rÖ   rÖ   rÖ   T)Ú	embed_dimÚ	num_headsrE  rÑ   Úadd_bias_kvÚadd_zero_attnr  )rR  Ú	attn_maskrÏ   F©rE  )r   r
   rd   r´  rg  rÌ   rÃ  r   rL   r‚   r}   rS  )rN   r±   rU   rÁ   rV   rZ   rÛ   rI  Ú	bool_valsrh  ri  ÚproductsrÑ   r„  r…  rR  r†  s                    rG   Ú)module_inputs_torch_nn_MultiheadAttentionrŠ  I
  sX  € äœ¨V¸5ÐP]Ô^€JØ€GØ€IØœuŸ|™|Ò,@ÈÔW\×WaÑWaÔbÐcÐØœŸ™Ò%9À&ÔPU×PZÑPZÔ[×bÑbÐclÓmÐn€JÜ× Ñ  ¨I°yÐBSÐU_Ó`€HØIQò 
ÑEˆˆk˜=Ð*:¸IØ�‰ÜÜ"/¸!ÀqÐVZØ59À{Ðboô#qä+©J°vÓ,>Á
È6Ó@RÑT^Ð_eÓTfØ=MÐYbôdä7ôô	
ð 	�‰ÜÜ"/¸!ÀqÐV[Ø59À{Ðboô#qä+©J°vÓ,>Á
È6Ó@RÑT^Ð_eÓTfØ=MÐYbôdä$Ô%?ÈUÔSôõ	
ð
ð( €NrI   c                 ó¨  — t        t        |||¬«      }t        t        dd«      t         |d«       |d«      «      t        ¬«      t        t        ddd¬«      t         |d«       |d«      «      t        ¬«      g}|j                  dd«      }|rD|j                  t        t        dddd	¬
«      t         |d«       |d«      «      t        ¬«      «       |S )NrÀ   r×   rÂ   rÏ   TrÐ   Úis_rnnFÚrelu)rÑ   Únonlinearity)r   r
   r‚   r}   r  rú   rL   )	rN   r±   rU   rÁ   rV   rZ   rÛ   rI  rŒ  s	            rG   Ú#module_inputs_torch_nn_RNN_GRU_Cellr�  h
  sÁ   € äœ¨V¸5ÐP]Ô^€JäÜ+¨A¨rÓ2Ü'©
°1«±zÀ"³~ÓFÜ2ô	
ô
 	Ü+¨A¨r¸Ô=Ü'©
°1«±zÀ"³~ÓFÜ2ô	
ð€Gð �Z‰Z˜ %Ó(€FÙð 	�‰ÜÜ"/°°2¸DÈvÔ"VÜ+©J°q«M¹:Àb»>ÓJÜ6ôô	
ð €NrI   c                 ó  — t        t        |||¬«      }t        t        dd«      t         |d«       |d«       |d«      f«      t        ¬«      t        t        ddd¬«      t         |d«       |d«       |d«      f«      t        ¬«      f}|S )NrÀ   r×   rÂ   rÏ   TrÐ   )r   r
   r‚   r}   r^  ©rN   r±   rU   rÁ   rV   rZ   rÛ   rI  s           rG   Úmodule_inputs_torch_nn_LSTMCellr’  ‡
  s‡   € äœ¨V¸5ÐP]Ô^€JäÜ+¨A¨rÓ2Ü'©
°1«¹
À2»É
ÐSUËÐ7WÓXÜ8ô	
ô
 	Ü+¨A¨r¸Ô=Ü'©
°1«¹
À2»É
ÐSUËÐ7WÓXÜ8ô	
ð€Gð €NrI   c                 óŽ   — | j                   }| j                  d«       t        | |«      }|j                  j                  |«       |S )NF)rÁ   r  r	   Údata)rW  Úbatch_sizesÚrequired_gradÚseqs       rG   Úmake_packed_sequencer˜  ™
  s>   € Ø×%Ñ%€MØ×Ñ�uÔÜ
˜s KÓ
0€CØ‡H�H×Ñ˜MÔ*Ø€JrI   Fc                 ó°  — t        t        |||¬«      }|d   }d}	d}
d}d}g }|rt        |	|
||«      }nt        |
||«      }|D �]�  }|r|\  }}}}n|\  }}}ddd|||dœ}ddd|||dœ}|r
|d<   ||d<   |j                  t	        t        di |¤Žt         |d	«      «      t        t        |¬
«      ¬«      «       |j                  t	        t        di |¤Žt         |d	«       ||rdnddf«      «      t        t        |¬
«      ¬«      «       |sŒÊ|j                  t	        t        di |¤Žt        t         |d«      t        j                  ddg«      «      «      t        t        |¬
«      ¬«      «       |j                  t	        t        di |¤Žt        t         |d«      t        j                  g d¢«      «      «      t        t        |¬
«      ¬«      «       �Œ’ |S )NrÀ   rŒ  )r�  rj  ©FTrå   )Ú
input_sizeÚhidden_sizerN  rE  rÑ   ÚbidirectionalrÖ   rŽ  ©rÖ   rå   r‡  rÏ   rÅ   )r×   rå   rå   r×   )r×   r×   rå   )r×   rÖ   rÖ   rå   rå   rX   )
r   r
   r   rL   r‚   r}   rY  r˜  rd   r´  )rN   r±   rU   rÁ   rV   Úwith_packed_sequencerZ   rÛ   rŒ  rŽ  rÑ   rE  r�  rI  Úprod_genrY   Únlrt  Úb_fÚbidirÚ	cons_argsÚcons_args_hiddens                         rG   Úmodule_inputs_torch_nn_RNN_GRUr¦  ¡
  s  € äœ¨V¸5ÐP]Ô^€JØ�HÑ€FØ#€LØ€DØ€KØ!€Mà€GÙÜ˜<¨¨{¸MÓJ‰ä˜4 ¨mÓ<ˆàó *ˆÙØ $ÑˆB��3™à ‰MˆAˆs�Eà#$°QÀaØ$'°ÀUñLˆ	à*+¸AÈQØ+.¸ÈEñSÐñ Ø(*ˆI�nÑ%Ø/1Ð˜^Ñ,Ø�‰ÜÜ"/Ñ"<°)Ñ"<Ü+©J°vÓ,>Ó?Ü$Ô%CÐQTÔUôô	
ð 	�‰ÜÜ"/Ñ"CÐ2BÑ"CÜ+©J°vÓ,>Á
ÑQVÉAÐ\]Ð_`ÐKaÓ@bÓcÜ$Ô%CÐQTÔUôô	
ò  Ø�N‰NÜÜ&3Ñ&@°iÑ&@Ü"/Ô0DÁZÐPYÓEZÔ\a×\hÑ\hÐjkÐmnÐioÓ\pÓ0qÓ"rÜ!(Ô)GÐUXÔ!Yôôð �N‰NÜÜ&3Ñ&@°iÑ&@Ü"/Ô0DÁZÐPYÓEZÔ\a×\hÑ\hÒixÓ\yÓ0zÓ"{Ü!(Ô)GÐUXÔ!YôöðI*ðX €NrI   c                 ó   — t        t        |||¬«      }d}d}d}	d}
g }t        |||	|
«      }|D ]Í  }|\  }}}}d}d|d||||dœ}d|d||||dœ}|j                  t	        t        di |¤Žt         |d«      «      t        t        |¬«      ¬	«      «       |d
kD  r|n|} ||rdnd|f«       ||rdnd|f«      f}|j                  t	        t        di |¤Žt         |d«      |«      t        t        |¬«      ¬	«      «       ŒÏ |S )NrÀ   rš  )r   rå   rÖ   rå   )r›  rœ  rN  Ú	proj_sizerE  rÑ   r�  rq  r‡  rÏ   r   rÅ   rž  rX   )r   r
   r   rL   r‚   r}   r[  )rN   r±   rU   rÁ   rV   rZ   rÛ   rÑ   rE  r�  Ú
proj_sizesrI  r   rY   rt  r¢  r£  r¨  rœ  r¤  r¥  Úh_outÚhxs                          rG   Úmodule_inputs_torch_nn_LSTMr¬  ß
  sD  € äœ¨V¸5ÐP]Ô^€JØ€DØ€KØ!€MØ€Jà€GÜ�t˜[¨-¸ÓD€Hàò 
ˆØ#'Ñ ˆˆ3��yØˆØ#$°[ÐPQÐ`iØ$'°ÀUñLˆ	à*+¸KÐWXÐgpØ+.¸ÈEñSÐð 	�‰ÜÜ"/Ñ"<°)Ñ"<Ü+©J°vÓ,>Ó?Ü$Ô%@ÈcÔRôô	
ð '¨š]‘	°ˆÙ™u™!¨!¨UÐ3Ó4±jÁuÁ!ÐRSÐU`ÐAaÓ6bÐcˆØ�‰ÜÜ"/Ñ"CÐ2BÑ"CÜ+©J°vÓ,>ÀÓCÜ$Ô%@ÈcÔRôõ	
ð%
ð6 €NrI   c           	      óÆ   — t        t        |||¬«      }t        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ¬«      gS )NrÀ   rK   rœ  rÏ   ©rK   rå   r  rh  rm  rn  s          rG   Ú&module_inputs_torch_nn_ReflectionPad1dr¯  	  ó^   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨AÓ.Ü'©
°6Ó(:Ó;Ü2ô	
ô
 	Ü+¨FÓ3Ü'©
°9Ó(=Ó>ô	
ð
ð 
rI   c           	      óÆ   — t        t        |||¬«      }t        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ¬«      gS ©NrÀ   rK   r›  rÏ   ©rK   rå   rÖ   rÅ   ©rÖ   rÅ   r×   rg  rh  rm  rn  s          rG   Ú&module_inputs_torch_nn_ReflectionPad2drµ    ó^   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨AÓ.Ü'©
°9Ó(=Ó>Ü2ô	
ô
 	Ü+¨LÓ9Ü'©
°<Ó(@ÓAô	
ð
ð 
rI   c           	      óÆ   — t        t        |||¬«      }t        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ¬«      gS )NrÀ   rK   r1  rÏ   ©rK   rå   rK   rå   rK   rå   )rÖ   rÖ   rÖ   rÖ   rÖ   rh  rm  rn  s          rG   Ú&module_inputs_torch_nn_ReflectionPad3dr¹  '  ó_   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨AÓ.Ü'©
°<Ó(@ÓAÜ2ô	
ô
 	Ü+Ð,>Ó?Ü'©
°?Ó(CÓDô	
ð
ð 
rI   c           	      óÆ   — t        t        |||¬«      }t        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ¬«      gS ©NrÀ   rK   r”  rÏ   r®  r›  rh  rm  rn  s          rG   Ú'module_inputs_torch_nn_ReplicationPad1dr½  6  r°  rI   c           	      óÆ   — t        t        |||¬«      }t        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ¬«      gS r²  rm  rn  s          rG   Ú'module_inputs_torch_nn_ReplicationPad2dr¿  E  r¶  rI   c           	      óÆ   — t        t        |||¬«      }t        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ¬«      gS )NrÀ   rK   r´  rÏ   ©rK   rå   rÖ   rÅ   r×   rg  )rÖ   rÅ   r×   rg  rš  rh  rm  rn  s          rG   Ú'module_inputs_torch_nn_ReplicationPad3drÂ  T  rº  rI   c           	      óÆ   — t        t        |||¬«      }t        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ¬«      gS r¼  rm  rn  s          rG   Ú module_inputs_torch_nn_ZeroPad1drÄ  c  r°  rI   c           	      óÆ   — t        t        |||¬«      }t        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ¬«      gS )NrÀ   rK   r×  rÏ   r³  rh  rm  rn  s          rG   Ú module_inputs_torch_nn_ZeroPad2drÆ  r  r¶  rI   c           	      óÆ   — t        t        |||¬«      }t        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ¬«      gS )NrÀ   rK   r´  rÏ   rÁ  )rK   rå   rÖ   rÅ   r×   rh  rm  rn  s          rG   Ú module_inputs_torch_nn_ZeroPad3drÈ  �  rº  rI   c           	      óÊ   — t        t        |||¬«      }t        t        dd«      t         |d«      «      t        ¬«      t        t        dd«      t         |d«      «      ¬	«      gS )
NrÀ   rK   rå   r”  rÏ   r®  rÖ   r›  rh  rm  rn  s          rG   Ú$module_inputs_torch_nn_ConstantPad1drÊ  �  sb   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨A¨qÓ1Ü'©
°6Ó(:Ó;Ü2ô	
ô
 	Ü+¨F°AÓ6Ü'©
°9Ó(=Ó>ô	
ð
ð 
rI   c           	      óÊ   — t        t        |||¬«      }t        t        dd«      t         |d«      «      t        ¬«      t        t        dd«      t         |d«      «      ¬«      gS )	NrÀ   rK   rÖ   r›  rÏ   r³  r×   rh  rm  rn  s          rG   Ú$module_inputs_torch_nn_ConstantPad2drÌ  Ÿ  sb   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨A¨qÓ1Ü'©
°9Ó(=Ó>Ü2ô	
ô
 	Ü+¨L¸!Ó<Ü'©
°<Ó(@ÓAô	
ð
ð 
rI   c           	      óÊ   — t        t        |||¬«      }t        t        dd«      t         |d«      «      t        ¬«      t        t        dd«      t         |d«      «      ¬	«      gS )
NrÀ   rK   rÖ   r´  rÏ   rÁ  rš  )rK   rå   rK   rå   rK   rh  rm  rn  s          rG   Ú$module_inputs_torch_nn_ConstantPad3drÎ  ®  sc   € Üœ¨V¸5ÐP]Ô^€Jô 	Ü+¨A¨qÓ1Ü'©
°<Ó(@ÓAÜ2ô	
ô
 	Ü+Ð,>ÀÓBÜ'©
°?Ó(CÓDô	
ð
ð 
rI   c                 óv  ‡— t        t        |||¬«      }d„ Št        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ˆfd„¬«      t        t        d	«      t         |d«      «      ˆfd
„¬«      t        t        d«      t         |d«      «      ˆfd„¬«      gS )NrÀ   c           
      ót   — t        j                  | dd…dd…|d    d…f   | | dd…dd…d|d   …f   gd¬«      S )zê input:
                [[[0., 1., 2.],
                  [3., 4., 5.]]]
                pad: (1, 2)
                output:
                    [[[2., 0., 1., 2., 0., 1.],
                      [5., 3., 4., 5., 3., 4.]]]
            Nr   rK   rå   r  ©rd   Úcat©rW  Úpads     rG   Úpadding1d_circular_refzDmodule_inputs_torch_nn_CircularPad1d.<locals>.padding1d_circular_refÀ  sB   € ô �y‰y˜#ša¢ S¨¡V G¡H˜nÑ-¨s°Cºº1¸g¸sÀ1¹v¸g¸Ñ4FÐGÈQÔOÐOrI   rK   r”  rÏ   r®  r×  c                 ó*   •—  ‰|| j                   «      S r>   ©r½  ©r‹   rÍ   rÕ   rÕ  s      €rG   rÎ   z6module_inputs_torch_nn_CircularPad1d.<locals>.<lambda>Ô  ó   ø€ Ñ)?ÀÀ1Ç9Á9Ó)M€ rI   )rÖ   rK   c                 ó*   •—  ‰|| j                   «      S r>   r×  rØ  s      €rG   rÎ   z6module_inputs_torch_nn_CircularPad1d.<locals>.<lambda>Ù  rÙ  rI   r  c                 ó*   •—  ‰|| j                   «      S r>   r×  rØ  s      €rG   rÎ   z6module_inputs_torch_nn_CircularPad1d.<locals>.<lambda>Þ  rÙ  rI   rm  )rN   r±   rU   rÁ   rV   rZ   rÛ   rÕ  s          @rG   Ú$module_inputs_torch_nn_CircularPad1drÜ  ½  s¬   ø€ Üœ¨V¸5ÐP]Ô^€Jò	Pô 	Ü+¨AÓ.Ü'©
°6Ó(:Ó;Ü2ô	
ô
 	Ü+¨FÓ3Ü'©
°9Ó(=Ó>ÛMô	
ô
 	Ü+¨FÓ3Ü'©
°9Ó(=Ó>ÛMô	
ô
 	Ü+¨FÓ3Ü'©
°9Ó(=Ó>ÛMô	
ð!ð rI   c                 óv  ‡— t        t        |||¬«      }d„ Št        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ˆfd„¬«      t        t        d	«      t         |d«      «      ˆfd
„¬«      t        t        d«      t         |d«      «      ˆfd„¬«      gS )NrÀ   c                 óò   — t        j                  | dd…dd…|d    d…f   | | dd…dd…d|d   …f   gd¬«      } t        j                  | dd…dd…dd…|d    d…f   | | dd…dd…dd…d|d   …f   gd¬«      S )aS  input:
                [[[[0., 1., 2],
                   [3., 4., 5.]]]]
                pad: (1, 2, 2, 1)
        output:
            [[[[2., 0., 1., 2., 0., 1.],
               [5., 3., 4., 5., 3., 4.],
               [2., 0., 1., 2., 0., 1.],
               [5., 3., 4., 5., 3., 4.],
               [2., 0., 1., 2., 0., 1.]]]]
        Nrå   rÖ   r  r   rK   rÑ  rÓ  s     rG   Úpadding2d_circular_refzDmodule_inputs_torch_nn_CircularPad2d.<locals>.padding2d_circular_refå  s†   € ô �i‰i˜šQ¢ C¨¡F 7¡8˜^Ñ,¨c°3²qº!¸W¸cÀ!¹f¸W°}Ñ3EÐFÈAÔNˆÜ�y‰y˜#ša¢¢A¨¨A© w¡xÐ/Ñ0°#°sº1ºaÂÀGÀSÈÁVÀGÐ;KÑ7LÐMÐSTÔUÐUrI   rK   r›  rÏ   )rK   rå   rå   rK   )rK   rK   rå   rÖ   c                 ó*   •—  ‰|| j                   «      S r>   r×  ©r‹   rÍ   rÕ   rß  s      €rG   rÎ   z6module_inputs_torch_nn_CircularPad2d.<locals>.<lambda>ý  rÙ  rI   )rå   rÖ   rå   rå   c                 ó*   •—  ‰|| j                   «      S r>   r×  rá  s      €rG   rÎ   z6module_inputs_torch_nn_CircularPad2d.<locals>.<lambda>  rÙ  rI   )rÖ   rÖ   rÖ   rK   )rK   rK   rÖ   rÖ   c                 ó*   •—  ‰|| j                   «      S r>   r×  rá  s      €rG   rÎ   z6module_inputs_torch_nn_CircularPad2d.<locals>.<lambda>  rÙ  rI   rm  )rN   r±   rU   rÁ   rV   rZ   rÛ   rß  s          @rG   Ú$module_inputs_torch_nn_CircularPad2drä  â  s¬   ø€ Üœ¨V¸5ÐP]Ô^€JòVô  	Ü+¨AÓ.Ü'©
°9Ó(=Ó>Ü2ô	
ô
 	Ü+¨LÓ9Ü'©
°<Ó(@ÓAÛMô	
ô
 	Ü+¨LÓ9Ü'©
°<Ó(@ÓAÛMô	
ô
 	Ü+¨LÓ9Ü'©
°<Ó(@ÓAÛMô	
ð!ð rI   c                 óv  ‡— t        t        |||¬«      }d„ Št        t        d«      t         |d«      «      t        ¬«      t        t        d«      t         |d«      «      ˆfd„¬«      t        t        d	«      t         |d«      «      ˆfd
„¬«      t        t        d«      t         |d«      «      ˆfd„¬«      gS )NrÀ   c                 ó|  — t        j                  | dd…dd…|d    d…f   | | dd…dd…d|d   …f   gd¬«      } t        j                  | dd…dd…dd…|d    d…f   | | dd…dd…dd…d|d   …f   gd¬«      } t        j                  | dd…dd…dd…dd…|d    d…f   | | dd…dd…dd…dd…d|d   …f   gd¬«      S )	aN  input:
                [[[[[ 0.,  1.,  2.],
                    [ 3.,  4.,  5.]],
                   [[ 6.,  7.,  8.],
                    [ 9., 10., 11.]]]]]
            pad: (1, 2, 2, 1, 1, 2)
            output: [[[[[ 8.,  6.,  7.,  8.,  6.,  7.],
                        [11.,  9., 10., 11.,  9., 10.],
                        [ 8.,  6.,  7.,  8.,  6.,  7.],
                        [11.,  9., 10., 11.,  9., 10.],
                        [ 8.,  6.,  7.,  8.,  6.,  7.]],

                       [[ 2.,  0.,  1.,  2.,  0.,  1.],
                        [ 5.,  3.,  4.,  5.,  3.,  4.],
                        [ 2.,  0.,  1.,  2.,  0.,  1.],
                        [ 5.,  3.,  4.,  5.,  3.,  4.],
                        [ 2.,  0.,  1.,  2.,  0.,  1.]],

                       [[ 8.,  6.,  7.,  8.,  6.,  7.],
                        [11.,  9., 10., 11.,  9., 10.],
                        [ 8.,  6.,  7.,  8.,  6.,  7.],
                        [11.,  9., 10., 11.,  9., 10.],
                        [ 8.,  6.,  7.,  8.,  6.,  7.]],

                       [[ 2.,  0.,  1.,  2.,  0.,  1.],
                        [ 5.,  3.,  4.,  5.,  3.,  4.],
                        [ 2.,  0.,  1.,  2.,  0.,  1.],
                        [ 5.,  3.,  4.,  5.,  3.,  4.],
                        [ 2.,  0.,  1.,  2.,  0.,  1.]],

                       [[ 8.,  6.,  7.,  8.,  6.,  7.],
                        [11.,  9., 10., 11.,  9., 10.],
                        [ 8.,  6.,  7.,  8.,  6.,  7.],
                        [11.,  9., 10., 11.,  9., 10.],
                        [ 8.,  6.,  7.,  8.,  6.,  7.]]]]]
        NrÅ   r×   rå   r  rÖ   r   rK   rÑ  rÓ  s     rG   Úpadding3d_circular_refzDmodule_inputs_torch_nn_CircularPad3d.<locals>.padding3d_circular_ref  sÏ   € ôJ �i‰i˜šQ¢ C¨¡F 7¡8˜^Ñ,¨c°3²qº!¸W¸cÀ!¹f¸W°}Ñ3EÐFÈAÔNˆÜ�i‰i˜šQ¢¢1 s¨1¡v g¡hÐ.Ñ/°°cº!ºQÂÀ7ÀCÈÁFÀ7Ð:JÑ6KÐLÐRSÔTˆÜ�y‰y˜#ša¢¢A¢q¨3¨q©6¨'©(Ð2Ñ3°S¸#ºaÂÂAÂqÈ'È3ÈqÉ6È'Ð>QÑ:RÐSÐYZÔ[Ð[rI   rK   r´  rÏ   r¸  )rK   rK   rå   rå   rÖ   c                 ó*   •—  ‰|| j                   «      S r>   r×  ©r‹   rÍ   rÕ   rç  s      €rG   rÎ   z6module_inputs_torch_nn_CircularPad3d.<locals>.<lambda>A  rÙ  rI   )rÖ   rå   rå   rK   rK   rå   c                 ó*   •—  ‰|| j                   «      S r>   r×  ré  s      €rG   rÎ   z6module_inputs_torch_nn_CircularPad3d.<locals>.<lambda>F  rÙ  rI   )rÖ   rÖ   rå   rK   rå   rå   c                 ó*   •—  ‰|| j                   «      S r>   r×  ré  s      €rG   rÎ   z6module_inputs_torch_nn_CircularPad3d.<locals>.<lambda>K  rÙ  rI   rm  )rN   r±   rU   rÁ   rV   rZ   rÛ   rç  s          @rG   Ú$module_inputs_torch_nn_CircularPad3drì    s°   ø€ Üœ¨V¸5ÐP]Ô^€Jò'\ôT 	Ü+¨AÓ.Ü'©
°<Ó(@ÓAÜ2ô	
ô
 	Ü+Ð,>Ó?Ü'©
°?Ó(CÓDÛMô	
ô
 	Ü+Ð,>Ó?Ü'©
°?Ó(CÓDÛMô	
ô
 	Ü+Ð,>Ó?Ü'©
°?Ó(CÓDÛMô	
ð!ð rI   Ú
TestModuleÚ	test_gradÚcuda)Ú	active_ifr`   Útest_gradgradÚtest_non_contiguous_tensors)rð  rp   r`   )é   rš  ÚTestExpandedWeightModuleÚtest_module)r`   Ú
TestDecompÚtest_rnn_decomp_modulec                 óÔ  — t        t        |||¬«      }t        t        t	        dd«      t	         |dd«       |dd«      «      ¬«      t
        j                  t        d¬«      t        t        t	        dd«      t	         |dd«       |dd	«      «      ¬«      t
        j                  t        d
¬«      t        t        t	        dd«      t	         |dd«       |dd«      «      ¬«      t
        j                  t        d¬«      t        t        t	        dd«      t	         |dd«       |dddd«      «      ¬«      t
        j                  t        d¬«      t        t        t	        ddd«      t	         |dd«       |dd	«      «      ¬«      t
        j                  t        d
¬«      t        t        t	        ddd«      t	         |dd«       |dd	«      «      ¬«      t
        j                  t        d
¬«      g}|S )NrÀ   rÂ   r&  rÖ   ró  rh  ú5input has inconsistent input_size: got 11 expected 10©r•   r–   r—   é   ú9hidden0 has inconsistent hidden_size: got 21, expected 20r×   ú5Input batch size 3 doesn't match hidden0 batch size 5rK   z.Expected hidden to be 1D or 2D, got 4D insteadr�  rj  ©	r   r
   r’   r‚   r}   rŽ   r�   r^   Ú
ValueErrorr‘  s           rG   Ú)module_error_inputs_torch_nn_RNN_GRU_Cellr   t  sÉ  € Üœ¨V¸5ÐP]Ô^€JäÜÜ"/°°BÓ"7Ü+©J°q¸"Ó,=¹zÈ!ÈRÓ?PÓQôô %×2Ñ2Ü#ØOô	
ô 	ÜÜ"/°°BÓ"7Ü+©J°q¸"Ó,=¹zÈ!ÈRÓ?PÓQôô %×2Ñ2Ü#ØSô	
ô 	ÜÜ"/°°BÓ"7Ü+©J°q¸"Ó,=¹zÈ!ÈRÓ?PÓQôô %×2Ñ2Ü#ØOô	
ô 	ÜÜ"/°°BÓ"7Ü+©J°q¸"Ó,=¹zÈ!ÈQÐPQÐSUÓ?VÓWôô %×2Ñ2Ü!ØHô	
ô 	ÜÜ"/°°B¸Ó"?Ü+©J°q¸"Ó,=¹zÈ!ÈRÓ?PÓQôô %×2Ñ2Ü#ØSô	
ô 	ÜÜ"/°°B¸Ó"?Ü+©J°q¸"Ó,=¹zÈ!ÈRÓ?PÓQôô %×2Ñ2Ü#ØSô	
ð]7€Gðp €NrI   c                 óè  — t        t        |||¬«      }t        t        t	        dd«      t	         |dd«       |dd«       |dd«      f«      ¬«      t
        j                  t        d¬«      t        t        t	        dd«      t	         |dd«       |dd	«       |dd	«      f«      ¬«      t
        j                  t        d
¬«      t        t        t	        dd«      t	         |dd«       |dd«       |dd«      f«      ¬«      t
        j                  t        d¬«      t        t        t	        dd«      t	         |dd«       |dddd«       |dddd«      f«      ¬«      t
        j                  t        d¬«      g}|S )NrÀ   rÂ   r&  rÖ   ró  rh  rù  rú  rû  rü  r×   rý  rK   z/Expected hx\[0\] to be 1D or 2D, got 4D insteadrþ  r‘  s           rG   Ú%module_error_inputs_torch_nn_LSTMCellr  °  s|  € Üœ¨V¸5ÐP]Ô^€JäÜÜ"/°°BÓ"7Ü+©J°q¸"Ó,=Á
È1ÈbÓ@QÑS]Ð^_ÐacÓSdÐ?eÓfôô %×2Ñ2Ü#ØOô	
ô 	ÜÜ"/°°BÓ"7Ü+©J°q¸"Ó,=Á
È1ÈbÓ@QÑS]Ð^_ÐacÓSdÐ?eÓfôô %×2Ñ2Ü#ØSô	
ô 	ÜÜ"/°°BÓ"7Ü+©J°q¸"Ó,=Á
È1ÈbÓ@QÑS]Ð^_ÐacÓSdÐ?eÓfôô %×2Ñ2Ü#ØOô	
ô 	ÜÜ"/°°BÓ"7Ü+©J°q¸"Ó,=Á
È1ÈaÐQRÐTVÓ@WÑYcÐdeÐghÐjkÐmoÓYpÐ?qÓrôô %×2Ñ2Ü!ØKô	
ð9%€GðL €NrI   c           
      óÞ   — t        t        t        ddd«      ¬«      t        j                  t
        d¬«      t        t        t        ddd«      ¬«      t        j                  t
        d¬«      g}|S )NrÂ   r   rK   )r„   z%hidden_size must be greater than zerorú  z$num_layers must be greater than zero)r’   r‚   r}   rŽ   r�   rÿ  )rN   r±   rU   rÁ   rV   rZ   rI  s          rG   Ú$module_error_inputs_torch_nn_RNN_GRUr  Û  sb   € äÜ¬-¸¸A¸qÓ*AÔBÜ$×7Ñ7Ü!Ø?ô		
ô 	Ü¬-¸¸BÀÓ*BÔCÜ$×7Ñ7Ü!Ø>ô		
ð€Gð €NrI   c           
      óò   — t        t        |||¬«      }|j                  dd«      }t        t	        |rt        dd«      n
t        d«      t         |d«      «      ¬«      t        j                  t        d¬	«      gS )
NrÀ   Úis_constantFrK   rÖ   r1  rh  z(expected 2D or 3D input \(got 4D input\)rú  ©	r   r
   rú   r’   r‚   r}   rŽ   r�   rÿ  ©rN   r±   rU   rÁ   rV   rZ   rÛ   r  s           rG   Ú"module_error_inputs_torch_nn_Pad1dr	  ì  sq   € Üœ¨V¸5ÐP]Ô^€Jà—*‘*˜]¨EÓ2€Kô 	ÜÙ9D¤-°°1Ô"5Ì-ÐXYÓJZÜ+©J°|Ó,DÓEôô %×2Ñ2Ü!ØCô		
ðð rI   c           
      óò   — t        t        |||¬«      }|j                  dd«      }t        t	        |rt        dd«      n
t        d«      t         |d«      «      ¬«      t        j                  t        d¬	«      gS )
NrÀ   r  FrK   rÖ   rœ  rh  z(expected 3D or 4D input \(got 2D input\)rú  r  r  s           rG   Ú"module_error_inputs_torch_nn_Pad2dr  þ  óq   € Üœ¨V¸5ÐP]Ô^€Jà—*‘*˜]¨EÓ2€Kô 	ÜÙ9D¤-°°1Ô"5Ì-ÐXYÓJZÜ+©J°vÓ,>Ó?ôô %×2Ñ2Ü!ØCô		
ðð rI   c           
      óò   — t        t        |||¬«      }|j                  dd«      }t        t	        |rt        dd«      n
t        d«      t         |d«      «      ¬«      t        j                  t        d¬	«      gS )
NrÀ   r  FrK   rÖ   rœ  rh  z(expected 4D or 5D input \(got 2D input\)rú  r  r  s           rG   Ú"module_error_inputs_torch_nn_Pad3dr    r  rI   r  )r¦   rœ   Útest_memory_formatrV   )rð  )r¡   r¦   rœ   zSkipped!)r¦   )r¡   r¦   rµ   )rp   r`   )r¦   r¡   rœ   TÚTestEagerFusionModuleInfoÚ,test_aot_autograd_symbolic_module_exhaustiveÚ#test_aot_autograd_module_exhaustive)rM   r¦   rœ   Útest_check_inplace)r`   rp   rK   )r»  r©   i³  )Úversion)rp   g-Cëâ6?)r¦   r¡   r¢   rœ   r�   rå   rÖ   iE  )r»  r©   r¼  Útest_cpu_gpu_parityg{®Gázt?)r¦   r¡   r¢   rp   rœ   r�   )r`   rp   rð  )r¦   rp   r¡   r¢   rœ   r�   )ÚatolÚrtolÚtest_forwardÚcpu)r¦   r�   rœ   )Úinclude_halfÚinclude_bfloat16g¸…ëQ¸ž?r2  )r¦   rp   r�   )r  r  )r¦   rp   rœ   Ú#test_if_train_and_eval_modes_differÚtest_save_load)r¦   rœ   r    )r»  )r¦   rM   rœ   ÚTestModuleMPSÚtest_non_contiguousÚtest_factory_kwargs)rM   r¦   r�   rœ   )r`   rð  gü©ñÒMb`?)r¦   r¤   r�   rœ   )rŒ  )r¦   r£   )rM   r¦   r£   r�   )rM   r¦   r£   rœ   r�   )r¦   r£   rœ   Ú	module_db)F(W  rd   ÚunittestÚcopyr   Úenumr   Ú	functoolsr   r   rÃ  r   r   r*  Útorch.nn.functionalr¨   Ú
functionalrk  Útorch.nn.utils.rnnr	   Útorch.testingr
   Ú#torch.testing._internal.common_cudar   Ú$torch.testing._internal.common_dtyper   r   r   Ú*torch.testing._internal.common_device_typer   r   r   r   r   r   r   r   r   r   r   Ú2torch.testing._internal.common_methods_invocationsr   Ú!torch.testing._internal.common_nnr   r   r   r   r   r    r!   r"   r#   r$   r%   r&   r'   r(   Ú$torch.testing._internal.common_utilsr)   r*   r+   r,   r-   r.   r/   Útypesr0   Úoperatorr<   ÚaoÚqatÚquantizableÚ	quantizedr1   r?   Ú__annotations__ÚModuleÚ	ContainerÚ	NLLLoss2dÚ	MaxPool2dr2   rA   ÚtypeÚfrom_iterableÚ__all__Úgetattrr3   r4   rH  ÚstrÚ	namespaceÚmodule_namerz   rj   rº   Únamespace_namer7   r{   r}   r‚   rŽ   r’   rš   rÝ   ré   rÿ   r  r   r6  r=  r  rS  rY  r[  r^  rd  ro  rz  r‰  r�  r˜  r�  rŸ  r¡  r§  r±  rµ  r¹  rË  rÖ  râ  rè  rë  r÷  rü  rÿ  r  r  r  r#  r-  r2  r=  r@  rP  rT  r[  r^  ra  rf  ro  rx  r}  r�  r–  r¤  r·  rÃ  rÅ  rÇ  rÎ  rÒ  rÕ  rÝ  rì  rø  rü  r   r  r  r
  r  r  r$  r)  r+  r1  r4  r9  r<  r@  rC  rO  rG  ru  ry  r€  rŠ  r�  r’  r˜  r¦  r¬  r¯  rµ  r¹  r½  r¿  rÂ  rÄ  rÆ  rÈ  rÊ  rÌ  rÎ  rÜ  rä  rì  ÚexpectedFailureró  Ú#rnn_gru_lstm_module_info_decoratorsr   r  r  r	  r  r  Úbackendsrµ   Úis_availableÚis_macos_or_newerÚ_macos15_or_newerÚAdaptiveAvgPool1dÚAdaptiveAvgPool2dÚ
itemgetterÚAdaptiveAvgPool3dÚskipÚAdaptiveMaxPool1dÚAdaptiveMaxPool2dÚAdaptiveMaxPool3dÚ	AvgPool1dÚ	AvgPool2dr»   Ú	AvgPool3dÚBatchNorm1dÚBatchNorm2dÚBatchNorm3dÚCELUÚConv1dr¼   ÚConv2dÚfloat64ÚConv3dÚConvTranspose1dÚchalfÚConvTranspose2dÚ	complex32Ú	complex64Ú
complex128ÚConvTranspose3dÚCosineEmbeddingLossÚELUÚFractionalMaxPool2dÚFractionalMaxPool3dÚL1LossÚSmoothL1LossÚ
LazyConv1dÚ
LazyConv2dÚ
LazyConv3dÚLazyConvTranspose1dÚLazyConvTranspose2dÚLazyConvTranspose3dÚLinearÚBilinearÚLPPool1dÚLPPool2dÚLPPool3dÚ	MaxPool1dÚ	MaxPool3dÚ	KLDivLossÚMSELossÚMarginRankingLossÚMultiLabelMarginLossÚMultiMarginLossÚSoftMarginLossÚMultiLabelSoftMarginLossÚNLLLossÚGaussianNLLLossÚPoissonNLLLossÚHingeEmbeddingLossÚ	HuberLossÚBCELossÚBCEWithLogitsLossÚCrossEntropyLossÚCTCLossÚGELUÚGLUÚ	GroupNormÚ
HardshrinkÚ	HardswishÚHardtanhÚInstanceNorm1dÚInstanceNorm2dÚInstanceNorm3dÚLocalResponseNormÚ	LayerNormÚRMSNormÚTransformerEncoderrH  ÚTransformerDecoderLayerÚTransformerÚMultiheadAttentionÚ	EmbeddingÚReLUÚ	LeakyReLUÚReLU6ÚPReLUÚRNNCellÚGRUCellÚLSTMCellÚSigmoidÚ
LogSigmoidÚSiLUÚSoftmaxÚ	Softmax2dÚ
LogSoftmaxÚSoftminÚSoftplusÚ
SoftshrinkÚSoftsignÚTanhÚ
TanhshrinkÚ	ThresholdÚMishÚRNNÚGRUÚLSTMÚReflectionPad1dÚReflectionPad2dÚReflectionPad3dÚReplicationPad1dÚReplicationPad2dÚReplicationPad3dÚSELUÚ	ZeroPad1dÚ	ZeroPad2dÚ	ZeroPad3dÚCircularPad1dÚCircularPad2dÚCircularPad3dÚConstantPad1dÚConstantPad2dÚConstantPad3dr!  )r@  rA  Úclss   000rG   ú<module>rÀ     s¾0  ðô Û Ý Ý ß $ß $Û Û ß Ð Ý 3Ý %Ý :÷Gñ G÷÷ ÷ ñ õ L÷m÷ m÷ m÷ m÷
÷ ñ õ Û ð 
‡H�H×ÑØ	‡H�H‡K�K‡O�O×ÑØ	‡H�H‡K�K×Ñ×#Ñ#Ø	‡H�H‡K�K×Ñ×!Ñ!Ø	‡H�H‡K�K×Ñ×!Ñ!ð'Ð �4˜
Ñ#ó ð 
‡H�H‡O�OØ	‡H�H×ÑØ	‡H�H×ÑØ	‡H�H‡K�K×Ñ×#Ñ#Ø	‡H�H‡K�K×Ñ×#Ñ#ð€��T‘ó ð*Ð2˜u×2Ñ2à&÷4(àð 9B×8IÑ8IÖJ¨�WˆY˜Õ$ÔJó4(ó  )ð *€��T‘
ó *ð "0ÖN˜#°3¸oÒ3M’#ÒN€ð ')Ð �D˜˜s˜‘OÓ (Ø"ò O€IØ ×(Ñ(ò OˆÙ˜Y¨Ó4ˆ
Ø"×+Ñ+×3Ñ3°H¸bÓA×IÑIÈ*ÐVXÓYˆð Ð/Ò/Ø0>Ð/?¸qÀÀÐ-NÐ˜zÒ*ñOðOñ �_Ð&SÓT€ôBÐô BòJ#÷ñ ÷2ñ 2ô,�dô ÷
'ñ '÷(<+ñ <+ò@ò(ò:%òP@òFò2-ò`$òN+ò\Dò&Dò0bò0
<ò4ò(ò$0ò80Dòh(ò (ò*&ò,
*ò(ò&-ò2(ò6(ò.(ò.ò(ò8&ò&=ò"=ò=ò"9ò&9ò&0ò*"+òJ$òLò"*ò"
*ò*ò**ò$*ò:*ò$*ò"*ò *ò*ò&*ò"WòòF-ò`'òTUòr=ò@$òNò,ò"ò0 òFò4%òN òD0òfò&ò(ò&ò&ò&ò$ò,òD#òLò8ò0ò8 òFò>$òNò6ò2GòT@òF+ò\òò>ò>ò$ó;ò|&òTòòòòòòòòòòòò#òJ'òRBñR Ø× Ò  ,°ØÒ4 nÐ"4À6ôñ Ø× Ò  ,°ØÒ4 nÐ"4À6ôñ
 Ø× Ò  ,Ð0MØÒ4 nÐ"4À6ôñ
 Ø× Ò  ,Ð0MØÒ0 .¸5¿;º;¸.ÐV\ôñ Ù˜7˜)Ó$Ð&@À-Øôñ Ù˜7˜)Ó$ lÐ4LØôð7'Ð #òF:òx(òVò"ò$ò$ð& —N’N×&Ò&×3Ò3Ó5Òe¸%¿.º.×:LÒ:L×:^Ò:^Ð_aÐcdÓ:eÐ ðOÙˆu�x‰x×)Ò)Ø"Jñ   Ó(ð+ôðOñ ˆu�x‰x×)Ò)Ø$8Ø"Jñ   Ó(áØ×/Ò/Ø#Ø+Ø!4 ×!4Ò!4°ZÓ!@ô	ð		ôðOñ* ˆu�x‰x×)Ò)Ø$8Ø"Já  §¢¨jÓ 9¸<ÐI]Ó^á Ó(ð+ôð+Oñ: ˆu�x‰x×)Ò)Ø"Jôð;Oñ@ ˆu�x‰x×)Ò)Ø$8Ø"JôðAOñH ˆu�x‰x×)Ò)Ø$8Ø"Já  §¢¨jÓ 9¸<ÐI]Ó^á Ó(ð+ôðIOñX ˆu�x‰x×!Ò!Ø"BôðYOñ^ ˆu�x‰x×!Ò!Ø"Bñ
  Ø×/Ò/Ø#Ø+Ø!4 ×!4Ò!4°ZÓ!@Ø#)ôñ  Ð 2°LÈ%Ï-Ê-ÈÐfkÔmðpôð_Oñ~ ˆu�x‰x×!Ò!Ø"BØ$8ñ    §¢¨jÓ 9¸<ÐI]Ó^á Ó(ð	+ôðOñP ˆu�x‰x×#Ò#Ø%)Ø"Dñ  Ø×/Ò/Ð1LØEØ!4 ×!4Ò!4°ZÓ!@ôñ  Ø×/Ò/Ð1LØ<Ø!4 ×!4Ò!4°ZÓ!@ôðôðQOñt ˆu�x‰x×#Ò#Ø%)Ø"Dñ  Ð 2°LÐBVÐbuÐbj×buÒbuð  wAó  cBô  Cñ  Ø×/Ò/Ð1LØEØ!4 ×!4Ò!4°ZÓ!@ôñ  Ø×/Ò/Ð1LØ<Ø!4 ×!4Ò!4°ZÓ!@ôðôðuOñ\ ˆu�x‰x×#Ò#Ø%)Ø"Dñ   Ó(ñ  Ø×/Ò/Ð1LØEØ!4 ×!4Ò!4°ZÓ!@ôñ  Ø×/Ò/Ð1LØ<Ø!4 ×!4Ò!4°ZÓ!@ôðôð]OñD ˆu�x‰x�}Š}Ø"=ñ   × 8Ò 8¸,ÐH\Ø,1¸5¿=º=¸/ôKðMôðEOñR ˆu�x‰x�ŠÙ")Ð*GÈ1ÐSXÔ"YØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔkñ  Ð 2°LÐBVØ,1¸5¿=º=¸/ôKáÐ 2°LÐB_Ø,1¸5¿=º=¸/ôKðñ  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnðô!ðSOñx ˆu�x‰x�ŠÙ")Ð*GÈ1ÐSXÔ"YØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔkñ   × 8Ò 8¸,ÐH\Ø,2¸E¿MºM¸?ôLñ   × 8Ò 8¸,ÐH\Ø,1¸5¿=º=È%Ï-Ê-Ð:XôZñ  Ð 2°LÐBVØ,1¸5¿=º=¸/ôKáÐ 2°LÐB_Ø,1¸5¿=º=¸/ôKð!ñ(  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnðô/ðyOñl ˆu�x‰x�ŠÙ")Ð*GÈ1ÐSXÔ"YØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔká °UÔ;ñ   × 8Ò 8¸,ÐH\Ó]ð
ñ  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnðôðmOñP ˆu�x‰x×'Ò'Ù")Ð*GÈ1ÐSXÐeiÔ"jØ$8Ø,0Ù4°U·[²[ÓAñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔká × 8Ò 8¸,ÐH]Ø(-¯ª ~À6ôKñ  Ð 2°LÐBVØ,1¸5¿=º=¸/ôKáÐ 2°LÐB_Ø,1¸5¿=º=¸/ôKðMñ  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnÙÑ 1°5·;²;ÀÐ2FÓ GÈÐWkÓlðô'ðQOñ~ ˆu�x‰x×'Ò'Ù")Ð*GÈ1ÐSXÐeiÔ"jØ$8Ø,0Ù4°U·[²[ÓAñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔká × 8Ò 8¸,ÐH\Ø(-¯ª¸¿ºÈ%×JZÒJZÐ'[ô]ñ   × 8Ò 8¸,ÐH\ÐjpØ(-¯ª°u×7GÒ7GÐ'HôJñ   × 8Ò 8¸,ÐH\Ø,1¸5¿=º=È%Ï-Ê-Ð:XôZñ   × 8Ò 8¸,ÐH]Ø(-¯ª ~À6ôKñ  Ð 2°LÐBVØ,1¸5¿=º=¸/ôKáÐ 2°LÐB_Ø,1¸5¿=º=¸/ôKð-ñ4  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnÙÑ 1°5·;²;ÀÐ2FÓ GÈÐWkÓlðô=!ðOñB ˆu�x‰x×'Ò'Ù")Ð*GÈ1ÐSXÐeiÔ"jÙ4°U·[²[ÓAØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔká Ó(ñ   × 8Ò 8¸,ÐH\Ó]á × 8Ò 8¸,ÐH\ÐjpØ(-¯ª¸¿ºÐ'IÐUcôeñ   × 8Ò 8¸,ÐH]Ø(-¯ª ~À6ôKðñ$  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnÙÑ 1°5·?²?ÀEÐ2JÓ KÈ\Ð[pÓqÙÑ 1°5·;²;ÀÐ2FÓ GÈÐWkÓlðô-ðCOñx ˆu�x‰x×+Ò+Ø"Lñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðyOñD	 ˆu�x‰x�|Š|Ø"<ñ   × 8Ò 8¸,ÐH\Ø,1¸5¿=º=¸/ôKðMôðE	OñR	 ˆu�x‰x×+Ò+Ø"LØ$8ñ   Ó(Ù  §¢¨jÓ 9¸<ÐI]Ó^ðaôðS	Oñb	 ˆu�x‰x×+Ò+Ø"LØ$8ñ   Ó(Ù  §¢¨jÓ 9¸<ÐI]Ó^ðaôðc	Oñr	 ˆu�x‰x�ŠØ"?ñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðs	Oñ~	 ˆu�x‰x×$Ò$Ø"Eñ    §¢¨jÓ 9¸<ÐI]Ó^ñ   	¨<Ð9VØ(-¯ª ÀEôKðMô	ð	OñR
 ˆu�x‰x×"Ò"Ù")Ð*GÈ1ÐSWÔ"XØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔkñ   Ó)ñ  Ð 2°LÐBVØ,1¸5¿=º=¸/ôKáÐ 2°LÐB_Ø,1¸5¿=º=¸/ôKðñ   Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnðô'ðS
Oñ~
 ˆu�x‰x×"Ò"Ù")Ð*GÈ1ÐSWÔ"XØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔkñ   Ó)ñ   × 8Ò 8¸,ÐH\Ø,2¸E¿MºM¸?ôLñ   × 8Ò 8¸,ÐH\Ø,1¸5¿=º=È%Ï-Ê-Ð:XôZñ  Ð 2°LÐBVØ,1¸5¿=º=¸/ôKáÐ 2°LÐB_Ø,1¸5¿=º=¸/ôKð'ñ.  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnðô5ð
Oñx ˆu�x‰x×"Ò"Ù")Ð*GÈ1ÐSWÔ"XØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔkñ   Ó)á Ó(ñ   × 8Ò 8¸,ÐH\Ó]ðñ  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnðô%ðyOñb ˆu�x‰x×+Ò+Ù")Ð*GÈ1ÐSWÐdhÔ"iØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔkñ   Ó)ñ  Ð 2°LÐBVØ,1¸5¿=º=¸/ôKáÐ 2°LÐB_Ø,1¸5¿=º=¸/ôKðñ   Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnðô'ðcOñN ˆu�x‰x×+Ò+Ù")Ð*GÈ1ÐSWÐdhÔ"iØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔkñ   Ó)ñ   × 8Ò 8¸,ÐH\ÐjpØ(-¯ª ô8ñ   × 8Ò 8¸,ÐH\Ø,1¸5¿=º=È%Ï-Ê-Ð:XôZñ  Ð 2°LÐBVØ,1¸5¿=º=¸/ôKáÐ 2°LÐB_Ø,1¸5¿=º=¸/ôKð'ñ.  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnðô5ðOOñH ˆu�x‰x×+Ò+Ù")Ð*GÈ1ÐSWÐdhÔ"iØ$8Ø,0ñ  Ñ >ÀtÔ LÈlÐ\pÓqá °Ð>RÐ\a×\iÒ\iÐ[jÔkñ   Ó)á Ó(ñ   × 8Ò 8¸,ÐH\Ó]ðñ  Ñ 1°5·=²=À%Ð2HÓ IÈ<ÐYmÓnðô%ðIOñr ˆu�x‰x�ŠØ"?ñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðsOñ~ ˆu�x‰x× Ò Ø"AáÙ(Ø Ÿ=š=©#°4¸dÔ*CØ Ÿ=š=©#°4¸dÔ*Cð*Eó Fð $ ^Àô	Hðñ    §¢¨jÓ 9¸<ÐI]Ó^á × 8Ò 8¸,ÈØ,1¸5¿=º=¸/ôKð	MôðOñ^ ˆu�x‰x× Ò Ø"Aá  §¢¨jÓ 9¸<ÈÓUÙ  §¢¨jÓ 9¸<ÈÓYð\ôð_Oñj ˆu�x‰x× Ò Ø"Aá  §¢¨jÓ 9¸<ÈÓUÙ  §¢¨jÓ 9¸<ÈÓYñ  Ø×/Ò/Ø#Ø+Ø!4 ×!4Ò!4°ZÓ!@Ø#(ôðôðkOñH ˆu�x‰x× Ò Ø"Aá  §¢¨jÓ 9¸<ÈÓUÙ  §¢¨jÓ 9¸<ÈÓYÙ  §¢¨jÓ 9¸<ÐI]Ó^Ù 	°uÔ=ð	@ôðIOñX ˆu�x‰x×!Ò!Ø"BôðYOñ^ ˆu�x‰x×!Ñ!Ø"Bôð_Oñd ˆu�x‰x×!Ò!Ø"BØ$8ñ   	°uÔ=ð@ôðeOñr ˆu�x‰x×!Ò!Ø"Bñ    §¢¨jÓ 9¸<ÐI]Ó^á  §¢¨jÓ 9¸<ÐI^Ó_Ù  §¢¨jÓ 9¸<ÈÓUÙ  §¢¨jÓ 9¸<ÈÓYð\ô	ðsOñF ˆu�x‰x×ÒØ"@ñ    §¢¨jÓ 9¸<ÐI]Ó^áÐ 2°LÐB_Ø,1¸5¿=º=¸/ôLñ   × 8Ò 8¸,ÈØ,1¸5¿=º=¸/ôKðMôðGOñ^ ˆu�x‰x×)Ò)Ø"Jñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôð_Oñj ˆu�x‰x×,Ò,Ø"Mñ    §¢¨jÓ 9¸<ÐI]Ó^á 	¨<ÀUÔKá  §¢¨jÓ 9¸<ÈÓYð\ô	ðkOñ~ ˆu�x‰x×'Ò'Ø"Hñ    §¢¨jÓ 9¸<ÐI]Ó^á 	¨<ÀUÔKá  §¢¨jÓ 9¸<ÈÓYð\ô	ðOñR ˆu�x‰x×&Ò&Ø"Gñ    §¢¨jÓ 9¸<ÐI]Ó^á × 8Ò 8¸,ÈØ,1¸5¿=º=¸/ôKð	MôðSOñd ˆu�x‰x×0Ò0Ø"Qñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðeOñp ˆu�x‰x×ÒØ"@ñ    §¢¨jÓ 9¸<ÐI]Ó^á × 8Ò 8¸,ÈØ,1¸5¿=º=¸/ôKð	MôðqOñB ˆu�x‰x×'Ò'Ø"Hñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôbðCOñL ˆu�x‰x×&Ò&Ø"Gñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôbðMOñV ˆu�x‰x×*Ò*Ø"Kñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðWOñb ˆu�x‰x×!Ò!Ø"Bñ    §¢¨jÓ 9¸<ÐI]Ó^á × 8Ò 8¸,ÈØ,1¸5¿=º=¸/ôKð	MôðcOñt ˆu�x‰x×ÒØ"@ñ    §¢¨jÓ 9¸<ÐI]Ó^á 	¨<ÀÇÂÀÐ]bÔcð	fôðuOñD ˆu�x‰x×)Ò)Ø"Jñ    §¢¨jÓ 9¸<ÐI]Ó^á 	¨<ÀÇÂÀÐ]bÔcð	fôðEOñT ˆu�x‰x×(Ò(Ø"IÙ'°TÈEÔRñ   × 8Ò 8¸,ÐH\Ó]ÙÑ 1°5·=²=Á#È4ÐVZÔB[Ð2\Ó ]Ð_kØ .¸¿º°ÐTYô[á × 8Ò 8¸,ÐH]Ðgl×gtÒgtÐfuØ,2ô4ð6ô
ðUOñj ˆu�x‰x×ÒØ"@ñ    §¢¨jÓ 9¸<ÐI]Ó^á 	¨<ÀUÔLá  §¢¨jÓ 9¸<ÈÓUÙ  §¢¨jÓ 9¸<ÈÓYá  §¢¨jÓ 9¸<ÐIfÓgð	jôðkOñD ˆu�x‰x�}Š}Ø"=ñ   × 8Ò 8¸,ÈØ,1¸5¿=º=¸/ôKðMôðEOñR ˆu�x‰x�|Š|Ø"<ôðSOñX ˆu�x‰x×!Ò!Ø"BÙ'¸ÈDÔQñ    §¢¨jÓ 9¸<ÐI^Ó_ÙÑ 1°5·=²=Á#È4ÐVZÔB[Ð2\Ó ]Ø ,Ð.BÐPUôWñ    §¢¨jÓ 9¸<ÐI]ÐkqÔrÙ  §¢¨jÓ 9¸<ÐI]ÐkpÔqÙ  §¢¨jÓ 9¸<ÈØ*8ÀfôNð	PôðYOñt ˆu�x‰x×"Ò"Ø"Cñ   × 8Ò 8¸,ÈÐdiÔjÙ × 8Ò 8¸,ÐHmð  |Aô  BÙ × 8Ò 8¸,ÐH\ÐjoÔpÙ × 8Ò 8¸,ÐHeÐsxÔyÙ × 8Ò 8¸,ÐHXÐfkÔlðoô	ðuOñH ˆu�x‰x×!Ò!Ø"BÙ.‘Tñ  Ø×/Ò/Ø#Ø+Ø!4 ×!4Ò!4°ZÓ!@Ø#(ôð	5ð "'ô(ðIOñb ˆu�x‰x× Ò Ø"AôðcOñh ˆu�x‰x×&Ò&Ù")Ð*OÐSTÔ"UØ%)ñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðiOñv ˆu�x‰x×&Ò&Ù")Ð*OÐSTÔ"UØ%)ñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðwOñD ˆu�x‰x×&Ò&Ù")Ð*OÐSTÔ"UØ%)ñ  Ð 2°OÐEYÓZÙÐ 2°OÐEbÓcÙÐ 2°OÀ^ÓTÙÐ 2°OÐEZÓ[ÙÐ 2°OÐEUÓVá  §¢¨jÓ 9¸<ÐI]Ó^ðaôðEOñ^ ˆu�x‰x×)Ò)Ø"Jñ  Ð 2°LÐBVÓWÙÐ 2°LÐB_Ó`ÙÐ 2°LÀ.ÓQÙÐ 2°LÐBgÓhÙÐ 2°LÐBWÓXÙÐ 2°LÐBRÓSðVô
ð_Oñt ˆu�x‰x×!Ò!Ø"Bñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðuOñ@ ˆu�x‰x×ÒØ"@ôðAOñH ˆu�x‰x×*Ò*Ø%)Ø"Kñ    §¢¨jÓ 9¸<ÈØ,1ô3ðñ    §¢¨jÓ 9¸<ÐI]Ó^ñ   × 8Ò 8¸,ÐH]Ó^ðaôðIOñf ˆu�x‰x×/Ò/Ø%)Ø"PáÑ 1°5·=²=Á#È4ÐVZÔB[Ð2\Ó ]Ø ,Ð.KØ,1¸ZôIñ  Ñ 1°5·=²=Á#È4ÐVZÔB[Ð2\Ó ]Ø ,¨nØ,1ô3ñ    §¢¨jÓ 9¸<ÈØ,1ô3ð
ñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðgOñJ ˆu�x‰x×/Ò/Ø"Pñ    §¢¨jÓ 9¸<ÈØ,1ô3ðñ    §¢¨jÓ 9¸<ÐI]Ó^ðaô
ðKOñ` ˆu�x‰x×#Ò#Ø"Dð $(ñ    §¢¨jÓ 9¸<ÈØ,1ô3ðñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðaOñ| ˆu�x‰x×*Ò*Ø%)Ø"Kñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôð}OñJ ˆu�x‰x×!Ò!Ø"BáÑ 1°5·=²=Á#È4ÐVZÔB[Ð2\Ó ]Ø ,Ð.KØ,1ô3ð4ñ
    §¢¨jÓ 9¸<ÐI]Ó^ðaôðKOñ\ ˆu�x‰x�}Š}Ø"=Ù.‘Tñ  Ø×/Ò/Ø#Ø+Ø!4 ×!4Ò!4°ZÓ!@Ø#(ôð	5ôð]Oñv ˆu�x‰x×!Ò!Ø"BôðwOñ| ˆu�x‰x�~Š~Ø">ñ   Ó(ð+ôð}OñJ ˆu�x‰x�~Š~Ø">ñ   Ó(ð+ôðKOñX ˆu�x‰x×ÒÙ")Ð*MÐVZÔ"[Ø(QôðYOñ` ˆu�x‰x×ÒØ"EØ(QôðaOñh ˆu�x‰x× Ò Ø"AØ(MôðiOñp ˆu�x‰x×ÒØ"@Ù.‘Tñ  Ø×/Ò/Ø#Ø+Ø!4 ×!4Ò!4°ZÓ!@Ø#(ôð	5ôðqOñJ ˆu�x‰x×"Ò"Ø"Cñ   × 8Ò 8¸,ÈÐdiÐsx÷  tAò  tAð  sBô  CðEôðKOñV ˆu�x‰x�}Š}Ø"=ôðWOñ\ ˆu�x‰x×ÒØ"@ôð]Oñb ˆu�x‰x×!Ò!Ø"Bñ    §¢¨jÓ 9¸<ÐI]Ó^á × 8Ò 8¸,ÈÐdiÐsx÷  tAò  tAð  sBô  Cð	EôðcOñr ˆu�x‰x×"Ò"Ø"Cñ    §¢¨jÓ 9¸<ÐI]Ó^á × 8Ò 8¸,ÈÐdiÐsx÷  tAò  tAð  sBô  Cð	EôðsOñB ˆu�x‰x×ÒØ"@ñ    §¢¨jÓ 9¸<ÐI]Ó^ðaôðCOñN ˆu�x‰x× Ò Ø"Añ   Ó(ð+ôðOOñ\ ˆu�x‰x×"Ò"Ø"Cñ   Ó(ð+ôð]Oñh ˆu�x‰x× Ò Ø"AôðiOñn ˆu�x‰x�}Š}Ø"=Ù.‘Tñ  Ø×/Ò/Ø#Ø+Ø!4 ×!4Ò!4°ZÓ!@Ø#(ôð	5ôðoOñH ˆu�x‰x×"Ò"Ø"CÙ.‘Tñ  Ø×/Ò/Ø#Ø+Ø!4 ×!4Ò!4°ZÓ!@Ø#(ôð	5ôðIOñb ˆu�x‰x×!Ò!Ø"Bñ   Ó(ð+ôðcOñp ˆu�x‰x�}Š}Ø"=ñ   Ó(ð+ôðqOñ| ˆu�x‰x�|Š|Ø%)Ù")Ð*HÐQUÔ"VØ(LØ=ô	ð}OñH ˆu�x‰x�|Š|Ø%)Ù")Ð*HÐQVÔ"WØ(LØ=ô	?ðIOñR ˆu�x‰x�}Š}Ø%)Ø"=Ø(Lñ   Ó(ð+ð >ô?ðSOñb ˆu�x‰x×'Ò'Ø"HôðcOñh ˆu�x‰x×'Ò'Ø"HØ$8á  §¢¨jÓ 9¸<ÐI]Ø,2ô4á  §¢¨jÓ 9¸<ÐI]Ø,1ô3ð5ôðiOñz ˆu�x‰x×'Ò'Ø"HØ$8á  §¢¨jÓ 9¸<ÐI]Ø,2ô4á  §¢¨jÓ 9¸<ÐI]Ø,1ô3ð5ôð{OñL  ˆu�x‰x×(Ò(Ø"IôðM OñR  ˆu�x‰x×(Ò(Ø"IØ$8á  §¢¨jÓ 9¸<ÐI]Ø,2ô4á  §¢¨jÓ 9¸<ÐI]Ø,1ô3ð5ôðS Oñd  ˆu�x‰x×(Ò(Ø"IØ$8á  §¢¨jÓ 9¸<ÐI]Ø,2ô4á  §¢¨jÓ 9¸<ÐI]Ø,1ô3ð5ôðe Oñv  ˆu�x‰x�}Š}Ø"=ñ   Ó(ð+ôðw OñD! ˆu�x‰x×!Ò!Ø"BôðE!OñJ! ˆu�x‰x×!Ò!Ø"Bñ   × 8Ò 8¸,ÐH\ÐjoÔpðsôðK!OñV! ˆu�x‰x×!Ò!Ø"Bñ   × 8Ò 8¸,ÐH\ÐjoÔpðsôðW!Oñb! ˆu�x‰x×%Ò%Ø"FØ(Jôðc!Oñj! ˆu�x‰x×%Ò%Ø"FØ(Jôðk!Oñr! ˆu�x‰x×%Ò%Ø"FØ(Jñ   × 8Ò 8¸,ÐH\Ó]ð`ôðs!Oñ@" ˆu�x‰x×%Ò%Ø"FôðA"OñF" ˆu�x‰x×%Ò%Ø"Fñ   × 8Ò 8¸,ÐH\ÐjoÔpðsôðG"OñR" ˆu�x‰x×%Ò%Ø"Fñ   × 8Ò 8¸,ÐH\ÐjoÔpðsôðS"O�	ˆ4�
Ñô Oùòeg Kùó4(ùò Os+   ÈBl&È2Bl!ÉBl&É	Bl,É&Bl,Âl!Bl&