בוט פוקר ל-MTT: ריקוד של אלגוריתמים ובלופים

כל מי שאני אומר לו את זה, אני מניח שהוא מדמיין איזו סצנה נוצצת מסרט קזינו-חדרים מעושנים, אורות עמומים, איזה בחור עם קפוצ'ון שסופר קלפים עם מחשב מתחת לשולחן. המציאות-מאחורי שולחן עבודה, חדר מואר שמש כאן בתאילנד, משכלל אלגוריתמים שיגרמו ללקוח ממוצע בקזינו לכאב ראש. אני קורא לזה 'הטנגו הדיגיטלי שלי עם הסתברות'.

הריקוד הזה לא הופך למורכב יותר מאשר ב-MTT פוקר, או טורנירים מרובי שולחנות, באמת-החיה הייחודית שבה דקה אחת אתה מלך ערימת הצ'יפים; ובדקה הבאה אתה נאחז בחיים עם ערימת צ'יפים קטנה יותר מהאספרסו של הבוקר שלך. זהו משחק של הישרדות, סבלנות ואגרסיביות מחושבת-פואטי, נכון? עד שאתה מתחיל לתכנת בוט שישלוט בזה.

רוצה לדעת איך הבוט שלנו עובד? בקר ב-מרכז הידע.

MTT: הטירוף והיופי

בואו נבהיר: כל מה שמרכיב משחק טקסס הולדם דומה, משני קלפי הכיס ועד לחמשת קלפי הקהילה, בניסיון להתעלות על כולם בשולחן; אבל MTTs פועלים בתדר שונה לחלוטין. הם יותר מרתון, לא ספרינט. מאות, לעיתים אלפי שחקנים מתחילים עם אותה ערימה, חולמים על הפרסים הגדולים ביותר. המבנה אינו ניתן למשא ומתן: הבליינדים ממשיכים לעלות, ואתה נאלץ לשחק. אתה לא יכול פשוט לשבת אחורה, לחכות לאסים בכיס, ולקוות לטוב ביותר.

עכשיו, לתרגם את כל הכאוס הזה לקטע של תוכנה-זה האתגר האמיתי. בוט פוקר ל-MTT עוסק כולו בחישוב הסתברויות, אבל הוא גם דורש הרבה תזמון, הבנת דינמיקת השולחן, לדעת מתי לדחוף, ולדעת מתי לקפל. כמובן, האחרון כולל גם אלמנט של בלוף. האם בוט יכול לבלף? תאמין שהוא יכול. רק אל תצפה שהוא יזיע בזמן שהוא עושה את זה.

בניית בוט ל-MTT: איפה המתמטיקה פוגשת את משחקי המוח

זה כמו שמבקשים ממך לשחק שחמט, אבל הם משנים לך את הלוח כל הזמן. ולפעמים זה חזק יותר מכל פרש; עדיף לקחת ולזרוק בלון מים על היריב שלך. ככה מרגיש לבנות את הבוט הזה ל-MTT. המתמטיקה של הפוקר, ההסתברויות, תורת המשחקים-כל המשוואות היפות האלה שלמדתי באוניברסיטת מוסקבה ואז שיכללתי ב-MIT-הן רק נקודת ההתחלה.

הבוט שלי משלב אסטרטגיות אופטימליות של תורת המשחקים עם משהו יותר אנושי: מה שנקרא משחק ניצול (Exploitative Play). ב-GTO, מחפשים אסטרטגיה שלא תאפשר ליריבים לנצל אותך, בלי קשר לאיך הם משחקים. זה כמו לדבר בשפה שאף אחד לא ממש מבין אבל גם לא יכול להתווכח איתה. נקי, אלגנטי, ובכנות, קצת קר.

אבל MTTs הם לא משחק GTO טהור. הם זורמים, והם משתנים יחד עם עליית הבליינדים וירידת מספר השחקנים. כאן נכנס המשחק הניצולני-אתה מוצא את החולשות והדפוסים בהימורים של אנשים אחרים שאתה יכול לנצל. כמו כשאתה שם לב שהבחור מעבר לשולחן מעלה כל פעם שהוא חושב שאף אחד לא שם לב.

אתה קורא את הבלוף שלו, וברגע אחד הוא עצבני כמו חתול בחדר מלא כיסאות נדנדה.

מעשיות: הכנת הבוט שלך לתחרות

טוב, אז איך תגדיר בוט שיכול לשרוד גם בג'ונגל הצ'יפים וגם במכות מזל רעות? בואו ניגש לעיקר.

1. מאגר נתונים וניתוח נתונים:
   1. בוט MTT מוצלח מתחיל עם מאגר נתונים של היסטוריות ידיים: אתה מזין לו אלפים, אפילו מיליונים, של ידיים ונותן לו לנתח את הדפוסים. באיזו תדירות שחקנים מעלים עם יד מסוימת? איזה טווח ידיים סביר שיהיה להם כשהם מבצעים 3-bet? זה סוג הדברים שהבוט שלך חייב להבין אם הוא רוצה לקבל החלטות מושכלות.
   2. אחד הניתוחים המשמעותיים ביותר, לדוגמה, הוא להבין משחק מיקום. דרך המשחק, הבוט לומד ששחקנים למעשה מקפלים יותר מדי להעלאות מהבליינד הגדול ולכן מתאים את האגרסיביות שלו במטרה לגנוב יותר בליינדים מעמדות מאוחרות, משהו קריטי מאוד במהלך טורניר כשהבליינדים גדולים ביחס לגודל הערימות.
2. ספריות אסטרטגיה לפרה-פלופ
   1. אפשר לדמיין את אסטרטגיית הפרה-פלופ של בוט MTT כבסיס יציב שעליו הכל נבנה. ברובם, אלה יתוכנתו כספריות של טווחים לפי מצב: עמדה מוקדמת, עמדה אמצעית, עמדה מאוחרת, בליינד קטן ובליינד גדול.
   2. נניח לרגע שהבוט שלך נמצא בעמדה מאוחרת ומקבל לימפ מהבליינד הקטן. הספרייה שלו יכולה לכלול העלאה ב-50 אחוז מהמקרים עם ידיים שוליות-כדי לנצל כל פסיביות מצד שחקן הבליינד הקטן-לדוגמה, סוטד קונקטורס-9♠ 8♠. זהו רק שינוי קל בקוד הפרה-פלופ, אבל כזה שיכול לעשות הבדל גדול עבור הבוט במצבים קריטיים.
3. חישובי ICM (Independent Chip Model):
   1. אין דבר חשוב יותר מגודל הערימות בשלבים המאוחרים של טורניר. וכאן נכנס ה-ICM-חישוב הערך של כל גודל ערימה ביחס לתשלומי הפרסים. כאן, הבוט צריך להבין את הערך של צ'יפ אחד ביחס למבנה הפרסים של הטורניר.
   2. דוגמה פשוטה מאוד תהיה שהבוט נמצא בעמדת הכפתור עם זוג 7ים, ויש לו 12 בליינדים גדולים שנותרו, והוא צריך לבחור אם לדחוף אול-אין או לקפל. ה-ICM אומר שיש ערך צפוי גבוה יותר בדחיפה, תוך התחשבות במבנה התשלומים ובטווחים הסבירים של היריב, בהשוואה לאלו הנובעים מקיפול. חישובים מסוג זה מאפשרים לבוט לקבל החלטות אופטימליות לרווחיות לטווח הארוך.

בלופים וסמי-בלופים: מתוכנת להטעות

בלוף הוא המילה הקסומה שהופכת את הפוקר ליותר מהקלפים; זה על קריאת מחשבות-משחק פסיכולוגי-צריך להיות בתוך הראש של היריב. מה יקרה אם במקום הראש תשים מכונה? בבניית הבוט ל-MTT, אתה פשוט לא יכול להימנע מלשאול את עצמך שאלה: האם מכונה יכולה לבלף?

התשובה הקצרה היא כן, אבל לא בדיוק כמו שאתה חושב.

אולי הוא על דרו חלש-משהו כמו דרו לצבע אחורי על לוח ריינבו. הוא יודע שהימור במצב הזה, אפילו עם יד חלשה, עשוי לגרום ליריב שלו לקפל אם יש לו שני קלפים גבוהים. זו אחת מצורות הסמי-בלוף, שבה הוא מהמר עם יד שיכולה להשתפר ברחובות מאוחרים יותר, אבל עשויה לזכות בקופה מיד אם היריב מקפל. באופן קונקרטי, עבור כל תגובות היריב האפשריות, אסטרטגיית הבוט מחשבת הסתברויות על פני צ'ק, הימור והעלאה. אם ערך הקיפול המחושב גבוה מערך הצ'ק, אז זה הזמן לירות הימור מצד הבוט. יעיל בצורה אכזרית, אך רחוק מלהיות רגשי.

האתגר האמיתי: לשרוד את התנודתיות

אבל בואו לא נהיה רומנטיים מדי כאן: עם בניית בוט ל-MTTs מגיע צד אפל בשם תנודתיות. השחקן הטוב בעולם-אנושי או מכונה-יכול להפסיד מאות ידיים ברצף רק בגלל שהיה לו מזל רע. בטורנירים, כשכל הערימה שלך יכולה להיעלם ביד אחת, המזל הרע הזה מרגיש כמו אגרוף בבטן.

אתה מבלה חודשים בבניית בוט שישחק בצורה מושלמת, מרחיב את הטווחים שלו, ודוחף בדיוק בזמנים הנכונים, ואז איזה בחור מעבר למסך תופס קלף נס בריבר ופוף-הבוט שלך בחוץ. זה מתסכל, זה משפיל, ובאיזשהו אופן מוזר, זה יפה.

כדי למתן את זה, קודדתי תכונה "עמידה בטילט".

ההפך הגמור מאדם מתוסכל שנמצא בסדרת הפסדים ומתחיל לשחק ידיים יתר על המידה, זה מתכוונן אוטומטית במשחק שלו ומחשב מחדש עם גדלי ערימות מעודכנים והזמן שנותר בטורניר. אם ערימת הצ'יפים של הבוט, לדוגמה, יורדת מתחת ל-10 בליינדים גדולים, הוא עובר לאסטרטגיית דחיפה-קיפול על ידי כניסה אול-אין עם טווח מוגדר הכולל אסים סוטים, זוגות וקלפי ברודווי חזקים. זה סוג של מנגנון בטיחות למקרים שבהם הצ'יפים נגמרים, מה שגורם לבוט להפוך לאגרסיבי.

מעבר למספרים: עתיד בוטי הפוקר ל-MTT

אולי אתה תוהה: אם בוטים כמו שלי ממשיכים להשתפר, מה יקרה למשחק? איזשהו עתיד דיסטופי שבו MTTs הופכים למאבק של בוטים, והאנשים יושבים ביציע, משהו כמו קרב גלדיאטורים קיברנטי? מפתה, אבל הפוקר לא הולך לשום מקום. בטוח, משחקי אונליין בהימורים גבוהים יש להם את הדרמות שלהם עם בוטים, אבל בני אדם הם קלפי ג'וקר-בלתי צפויים, רגשיים, ונוטים לקבל החלטות לא רציונליות בדרכים ששום בוט לא יוכל לשכפל. אנשים אוהבים לשחק פוקר מסיבות אחרות מלבד הכסף-בשביל התחושה של לקרוא את הפנים של שחקן, האול-אין שמקפיץ את הלב, כשבלוף נחשף ואתה הופך את הקלפים שלך, עוצר את הנשימה. אבל לא משנה כמה זה נשמע טוב, בוט לא יכול לחוות את הריגוש הזה. וזה יפה, במובן מסוים-לדעת שלא משנה כמה הקוד שלי יהיה טוב, תמיד יהיה מקום בשולחן לבלתי צפוי, לכאוטי-לאנושי.