Instant dots, buying-advice routing, br handling, plain-fallback cleanup, live-log model updates

bot.py

@@ -401,12 +401,12 @@ STREAM_TYPING_MAX_CATCHUP_TICKS = int(os.getenv("STREAM_TYPING_MAX_CATCHUP_TICKS
 # куска — всегда минимум из двух.
 FIRST_CHUNK_TIMEOUT_SEC = float(os.getenv("FIRST_CHUNK_TIMEOUT_SEC", "12"))
 # Анимация ожидания ("бегущие точки") в плейсхолдере, пока не пришёл первый
-# кусок стрима: первая смена кадра — не раньше _DOTS_START_AFTER_SEC (мгновенно
-# ответившая модель анимации вообще не покажет), дальше — кадр каждые
-# _DOTS_TICK_SEC. Интервалы подобраны под лимит Telegram (не чаще правки в
-# секунду) с запасом; правки идут только показывать нечего (до первого куска),
-# поэтому с показом текста не конфликтуют.
-_DOTS_START_AFTER_SEC = 2.5
+# кусок стрима: первые полсекунды висит статичное "…" (дешевле, чем дёргать
+# API ради мгновенных ответов — их анимация вообще не касается), дальше —
+# кадр каждые _DOTS_TICK_SEC. Интервалы подобраны под лимит Telegram (не чаще
+# правки в секунду) с запасом; правки идут только показывать нечего (до
+# первого куска), поэтому с показом текста не конфликтуют.
+_DOTS_START_AFTER_SEC = 0.5
 _DOTS_TICK_SEC = 1.2
 _DOTS_FRAMES = (".", "..", "…")
 # RICH_MESSAGES_ENABLED — отправка финальных ответов через sendRichMessage /
@@ -628,7 +628,7 @@ async def _close_sessions() -> None:
 # именно ради старых тестов на `bot.X`, но с переездом тестов на прямой импорт
 # модуля этот ре-экспорт стал мёртвым (см. аудит техдолга, 26 августа 2026) и
 # убран вместе с соответствующим `__all__`.
-from lumen_formatting import _md_to_html, _md_to_rich_html, _split_text_chunks
+from lumen_formatting import _md_to_html, _md_to_rich_html, _split_text_chunks, _strip_markdown
 
 _PRUNE_SENTINEL = object()
 
@@ -869,7 +869,7 @@ async def _send_text(message: Message, text: str, parse_html: bool = True, **kwa
             )
             if res is None and parse_html:
                 res = await _tg_call(
-                    message.reply, chunk,
+                    message.reply, _strip_markdown(chunk),
                     call_timeout=TELEGRAM_REQUEST_TIMEOUT,
                     parse_mode=None,
                     **chunk_kwargs,
@@ -885,7 +885,7 @@ async def _send_text(message: Message, text: str, parse_html: bool = True, **kwa
             if res is None and parse_html:
                 await _tg_call(
                     bot.send_message,
-                    chat_id=message.chat.id, text=chunk,
+                    chat_id=message.chat.id, text=_strip_markdown(chunk),
                     call_timeout=TELEGRAM_REQUEST_TIMEOUT,
                     parse_mode=None,
                     **chunk_kwargs,
@@ -914,7 +914,9 @@ async def _edit_message_quietly(msg: Message | None, text: str, **kwargs: Any) -
         if res is not None:
             return True
         kwargs["parse_mode"] = None
-        res = await _tg_call(msg.edit_text, text, **kwargs)
+        # Последний рубеж — голый текст БЕЗ markdown-синтаксиса (см.
+        # _strip_markdown): сырые `**` в чате хуже потери жирности.
+        res = await _tg_call(msg.edit_text, _strip_markdown(text), **kwargs)
         return res is not None
     except Exception:
         return False

docs/PROMPT_EVAL.md

@@ -5,6 +5,21 @@
 шкале ниже. Цель: понять, где бот далёк от персоны, и править `system_prompt.py`
 точечно, а не вслепую.
 
+Файл живёт в проекте постоянно (не удаляется после калибровки): каждый новый
+прогон дописывается в «Журнал прогонов» ниже — так видно прогресс цифрой и
+заметен откат, если правка промпта что-то сломала.
+
+Читать удобнее всего в браузере на GitHub (открыть файл в репозитории —
+разметка отрисуется красиво). В Блокноте Windows будет сырой текст с `#` —
+это нормально, содержание то же.
+
+## Журнал прогонов
+
+| Дата | Версия промпта | Бот (из 50) | Claude (из 50) | Заметки |
+|---|---|---|---|---|
+| 2026-09-17 | до правок | 42 | ~50 (частичный прогон) | Провалы: Q1 каша, Q8 список, Q17 без уточнения, Q21 выдумка фото, Q22 без оговорки |
+| | | | | |
+
 ## Как гонять
 
 1. Каждый вопрос — отдельным сообщением, по порядку. Контекст между вопросами

lumen_formatting.py

@@ -291,6 +291,11 @@ def _md_to_html(text: str) -> str:
     # баг). Сначала убираем заведомо битые self-closing варианты (напр. "<b/>"),
     # затем конвертируем корректные парные теги в markdown-эквивалент — дальше
     # они идут по тому же (уже проверенному) конвейеру, что и обычный markdown.
+    # <br> — в сентинел (прод-кейс 17.09.2026: модель пишет "<br>" внутри ячеек
+    # таблиц, без обработки долетает до escape и светится буквально). Сентинел
+    # невидим для escape и раскрывается в "\n" в самом конце (см. финал ниже);
+    # строгий паттерн (<br>, <br/>, <br />) намеренно НЕ ест "<blockquote>".
+    text = re.sub(r"<br\s*/?>", "\x00BR\x00", text, flags=re.IGNORECASE)
     text = re.sub(r"</?(?:b|strong|i|em|u|s|code|pre)\s*/>", "", text, flags=re.IGNORECASE)
     text = re.sub(r"<(?:b|strong)>(.*?)</(?:b|strong)>", r"**\1**", text, flags=re.IGNORECASE | re.DOTALL)
     text = re.sub(r"<(?:i|em)>(.*?)</(?:i|em)>", r"*\1*", text, flags=re.IGNORECASE | re.DOTALL)
@@ -396,6 +401,12 @@ def _md_to_html(text: str) -> str:
             replacement = f"<code>{inner}</code>"
         text = text.replace(key, replacement)
 
+    # Сентинел <br> (см. Phase 0): в обычном HTML-пути — перенос строки.
+    # Оговорка: <br> ВНУТРИ код-блоков тоже превратится в перенос (Phase 0
+    # идёт до экстракции кода) — тот же класс компромисса, что уже есть у
+    # <b>/<i> в коде выше; код-примеры с буквальным <br> редки.
+    text = text.replace("\x00BR\x00", "\n")
+
     return text
 
 
@@ -440,6 +451,9 @@ def _md_to_rich_html(text: str) -> str:
     if not text:
         return ""
 
+    # Тот же сентинел <br>, что в _md_to_html выше, но раскрывается в <br/>
+    # (валидный рич-тег переноса, в т.ч. внутри ячеек <td>).
+    text = re.sub(r"<br\s*/?>", "\x00BR\x00", text, flags=re.IGNORECASE)
     text = re.sub(r"</?(?:b|strong|i|em|u|s|code|pre)\s*/>", "", text, flags=re.IGNORECASE)
     text = re.sub(r"<(?:b|strong)>(.*?)</(?:b|strong)>", r"**\1**", text, flags=re.IGNORECASE | re.DOTALL)
     text = re.sub(r"<(?:i|em)>(.*?)</(?:i|em)>", r"*\1*", text, flags=re.IGNORECASE | re.DOTALL)
@@ -544,6 +558,25 @@ def _md_to_rich_html(text: str) -> str:
             replacement = f"<code>{inner}</code>"
         text = text.replace(key, replacement)
 
+    text = text.replace("\x00BR\x00", "<br/>")
+
+    return text
+
+
+def _strip_markdown(text: str) -> str:
+    """Сносит markdown-разметку в голый текст для последнего рубежа отправки
+    (plain-text без parse_mode): иначе при отказе HTML/рич в чат уходят сырые
+    `**`, backtick-и и `[label](url)` (прод-кейс 17.09.2026 — ответ с `**`
+    прилетел как есть). Чистит только синтаксис, слова не трогает."""
+    if not text:
+        return ""
+    text = re.sub(r"```[a-zA-Z0-9]*\n(.*?)\n```", r"\1", text, flags=re.DOTALL)
+    text = re.sub(r"\[([^\[\]]+)\]\((https?://[^\s()]+)\)", r"\1", text)
+    text = re.sub(r"(\*\*|__)(.*?)\1", r"\2", text, flags=re.DOTALL)
+    text = re.sub(r"(\*|_)(.*?)\1", r"\2", text)
+    text = re.sub(r"~~(.*?)~~", r"\1", text)
+    text = re.sub(r"`([^`\n]+)`", r"\1", text)
+    text = re.sub(r"^#{1,6}\s+", "", text, flags=re.MULTILINE)
     return text
 
 

lumen_router_config.py

@@ -547,6 +547,11 @@ def _gemini_route(models: list[str]) -> list[tuple[str, str]]:
 # ОБНОВЛЕНО вечером 17.09.2026 по первому же прод-трафику: inkling-small
 # исключён (только agent harnesses, см. _OR_MODEL_HEALTH), nex-n2.5-mini
 # подтверждён живьём (успешный ответ в проде) и повышен на его место.
+# НАБЛЮДЕНИЕ (там же): один ответ nex-mini содержал вкрапления чужих языков
+# ("сопプロцессоры", испанское "cuello", "Обе.platforms") — детектор
+# [mush-suspect] поймал только явное смешение внутри слов, замены целых слов
+# не ловит никто. Один инцидент — не хроника nano-9b: наблюдаем, при повторе —
+# понижать (см. прецедент super-120b ниже).
 _OR_LIGHT_ORDER: list[str] = [
     "nvidia/nemotron-3.5-lightning:free",
     "nex-agi/nex-n2.5-mini:free",
@@ -692,7 +697,9 @@ _HEAVY_QUERY_RE = re.compile(
     r"|найди\s+(ошибк\w*|баг\w*)|объясни\s+(код|ошибк\w*)"
     r"|напиши\s+(эссе|статью|доклад|реферат|сочинение|резюме|cv)\b"
     r"|проанализируй\w*|разбер(и|ём)\s+подробно|объясни\s+подробно"
-    r"|сравни\s+.{0,40}(и|с)\s+|докажи\b|доказательство"
+    # Голое "сравни( конкурентов)" — тоже сравнение (прод-кейс 17.09.2026),
+    # вариант с "и/с" выше оставлен для явных пар.
+    r"|сравни\b|докажи\b|доказательство"
     r"|реши\s+(задач\w*|уравнени\w*|систем\w*)"
     r"|составь\s+(план|таблиц\w*|список\s+из)"
     r"|многошагов\w*|пошагов\w*\s+(инструкц\w*|план\w*)"
@@ -720,6 +727,11 @@ _FRESHNESS_QUERY_RE = re.compile(
     r"|новост\w*|курс\s+(валют|доллара|евро|рубл\w*)|погод\w*|прогноз\w*"
     r"|расписани\w*|афиш\w*"
     r"|цена\w*|стоимост\w*|сколько\s+стоит"
+    # Советы по покупке (прод-кейс 17.09.2026: "какой проц лучше всего брать" —
+    # цены, наличие и новинки меняются постоянно, ответ из памяти протухает).
+    # Ложные срабатывания дешёвые (Gemini и так отвечает на всё подряд).
+    r"|лучше\s+(всего\s+)?(брать|взять|купить|выбрать)"
+    r"|(брать|взять|купить|выбрать)\s+лучше"
     r"|кто\s+(сейчас|является|президент|премьер|глава|ceo|мэр)"
     r"|результат\w*\s+(матч\w*|игр\w*|выбор\w*)"
     r"|в\s+эт(ом|ой)\s+(году|месяце|неделе)"

test_lumen_formatting.py

@@ -449,6 +449,28 @@ def test_rich_headings_tolerate_indent_and_deep_levels():
     assert lumen_formatting._md_to_rich_html("#### Глубокий") == "<h4>Глубокий</h4>"
 
 
+def test_br_tag_becomes_line_break_in_both_paths():
+    # Прод-кейс 17.09.2026: модель пишет "<br>" внутри ячеек таблиц — без
+    # обработки долетает до escape и светится буквально ("...сгор.<br>Pro Max").
+    assert lumen_formatting._md_to_html("a<br>b") == "a\nb"
+    assert lumen_formatting._md_to_html("a<br/>b") == "a\nb"
+    assert lumen_formatting._md_to_rich_html("| H | K |\n|---|---|\n| a<br>b | 2 |") == (
+        "<table bordered><tr><th>H</th><th>K</th></tr><tr><td>a<br/>b</td><td>2</td></tr></table>"
+    )
+    # "<blockquote>" не должен съедаться строгим паттерном <br>.
+    assert "blockquote" in lumen_formatting._md_to_html("<blockquote>ц</blockquote>")
+
+
+def test_strip_markdown_removes_syntax_keeping_words():
+    assert lumen_formatting._strip_markdown("**жирный** и *курсив*") == "жирный и курсив"
+    assert lumen_formatting._strip_markdown("код `x=1` тут") == "код x=1 тут"
+    assert lumen_formatting._strip_markdown("[текст](https://example.com)") == "текст"
+    assert lumen_formatting._strip_markdown("## Заголовок") == "Заголовок"
+    assert lumen_formatting._strip_markdown("~~чист~~") == "чист"
+    assert lumen_formatting._strip_markdown("") == ""
+    assert lumen_formatting._strip_markdown("обычный текст 5 < 10") == "обычный текст 5 < 10"
+
+
 def test_rich_prices_are_not_treated_as_math():
     # "$50 до $100" — контент с пробелом у границы, не формула. Одиночный знак
     # без пары — тоже текст.

test_lumen_router_config.py

@@ -75,6 +75,23 @@ def test_looks_like_freshness_query_detects_schedule_and_forecast():
     assert lumen_router_config._looks_like_freshness_query("любимый цвет") is False
 
 
+def test_looks_like_freshness_query_detects_buying_advice():
+    # Прод-кейс 17.09.2026: "какой проц лучше всего брать под ртх 5060" ушёл
+    # лёгким маршрутом в слабую модель — та ответила протухшими знаниями
+    # (RTX 5060 "ещё не объявлена") вместо поиска. Советы по покупке всегда
+    # про цены/наличие/новинки — им нужен живой поиск.
+    assert lumen_router_config._looks_like_freshness_query("какой проц лучше всего брать под ртх 5060") is True
+    assert lumen_router_config._looks_like_freshness_query("что лучше купить для игр") is True
+    assert lumen_router_config._looks_like_freshness_query("какой телефон лучше взять") is True
+
+
+def test_looks_like_heavy_query_detects_bare_compare():
+    # Прод-кейс 17.09.2026: "сравни конкурентов" без "и/с" между объектами
+    # пролетал мимо тяжёлой ветки — сравнение ехало на слабую модель.
+    assert lumen_router_config._looks_like_heavy_query("сравни конкурентов") is True
+    assert lumen_router_config._looks_like_heavy_query("сравни iphone и samsung") is True
+
+
 def test_build_route_youtube_link_forces_gemini_only():
     route = lumen_router_config._build_route(needs_youtube=True, needs_website=False, media_mime=None, is_heavy=False, needs_freshness=False)
     assert all(p == "gemini" for p, _ in route)