# \>рабочие заметки Мысли вслух: математика, программирование, и тому подобные извращения This is one page of public article previews, not the complete archive. Follow Next page to continue. Summaries are not the original full articles. ## Отладка через статистику DevFeed: [Отладка через статистику]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2024-06-10T18:20:00Z Content type: article Language: ru Sources: [\>рабочие заметки]() Topics: [ide](), [Software]() Tags: [ide](), [software](), [tag-e50b791533a6]() ### AI overview The article describes using aggregate statistics from IDE error reports to investigate difficult-to-reproduce bugs across millions of users and varied desktop configurations. It introduces a case involving storage built on a memory-mapped file, where newly added records sometimes encountered unexpected nonzero data. ### Source excerpt JB, где я сейчас работаю, отличается от моих предыдущих мест работы тем, что мы делаем продукт для широкой аудитории - миллионы пользователей - и часть этой аудитории разрешает нам собирать с IDE всякую полезную статистику. Это придает разработке непривычный, но и очень интересный аспект: миллионы пользователей, причем десктопных - это огромное разнообразие и hardware/software конфигураций, и ## Mystery of link imbalance (metastable failure) DevFeed: [Mystery of link imbalance (metastable failure)]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2022-05-08T18:04:00Z Content type: opinion Language: ru Sources: [\>рабочие заметки]() Topics: [distributed-systems](), [systems]() Tags: [distributed](), [distributed-systems](), [networking](), [systems](), [tag-387435beba47](), [tag-8a8a7c6c1817]() ### AI overview A technical essay examines a metastable failure in a distributed system where traffic repeatedly becomes concentrated on one cable of an aggregated network link. It describes how an MRU database connection pool, similar bursts of small queries, and varying network latency can interact to reinforce the imbalance. The supplied text is truncated before the explanation is complete. ### Source excerpt Я люблю системы, где из простых элементов возникает какое-то нетривиальное поведение. Последний месяц я игрался с симуляцией одной такой системы из статьи "Metastable Failures in Distributed Systems"1 В статье целый ряд примеров мета-стабильных сбоев, но почти все они ретроспективно устроены довольно понятно. А зацепил меня пример от инженеров фейсбука: в их случае группы серверов в ## Are You Sure You Want to Use MMAP in Your Database Management System? DevFeed: [Are You Sure You Want to Use MMAP in Your Database Management System?]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2022-01-30T16:51:00Z Content type: article Language: ru Sources: [\>рабочие заметки]() Topics: [Database](), [Linux](), [IO](), [Kernel]() Tags: [database](), [io](), [kernel](), [linux](), [performance](), [tag-cb5ff012b3f0](), [tag-e50b791533a6]() ### AI overview This Russian-language article examines whether memory-mapped files are suitable for database management systems. It argues that their apparent convenience can conceal operational issues requiring effort comparable to implementing a page cache, and that their expected performance advantage is not guaranteed. For modern SSDs and NVM, the cited article reports that memory-mapped reads can deliver 2-20 times lower throughput than direct reads that bypass the file cache, due to virtual-memory overhead such as page eviction and page-table updates. ### Source excerpt Кажется, что отображение файлов в память (mmap) удобно использовать для реализации баз данных, потому что можно не реализовывать пул страниц, а бесплатно использовать всю машинерию виртуальной памяти, уже существующую в ОС - работать с данными как будто они лежат в памяти, и ОС позаботится почти обо всех деталях. В статье Are You Sure You Want to Use MMAP in Your Database Management System?1 ## SiliFuzz: Fuzzing CPUs by proxy DevFeed: [SiliFuzz: Fuzzing CPUs by proxy]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2021-11-02T12:33:00Z Content type: opinion Language: ru Sources: [\>рабочие заметки]() Topics: [Fuzzing/Fuzz testing](), [cpu](), [Test coverage](), [Google]() Tags: [cpu](), [fuzzing](), [google](), [tag-e34f6dec12c4](), [tag-e932065bc8da]() ### AI overview The article discusses SiliFuzz, a Google research project that uses fuzzing to continuously test server CPUs for hardware errors. It describes generating instruction-sequence tests, comparing processor results to establish expected behavior, quarantining machines with suspicious results, and using coverage-guided generation to improve test diversity. ### Source excerpt Недавно писал про статью инженеров гугла об аппаратных дефектах микропроцессоров (Cores that don't count) Там констатировалось, что такие дефекты есть, и их не так уж мало - но что с этим делать обсуждалось только гипотетически. SiliFuzz: Fuzzing CPUs by proxy1 - продолжение этой темы. Авторы задались целью создать механизм непрерывного тестирования парка серверов на аппаратные ошибки. ## Ironies of automation DevFeed: [Ironies of automation]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2021-08-31T14:58:00Z Content type: opinion Language: ru Sources: [\>рабочие заметки]() Topics: [Automation](), [systems]() Tags: [automation](), [awareness](), [resilience](), [systems](), [tag-a3309a813b61]() ### AI overview The article discusses Lisanne Bainbridge's 1983 paper "Ironies of automation" and its account of human factors in automated systems. It explains that shifting systems from manual control to autopilot can reduce reliability because operators still need to intervene in abnormal situations, while routine automation deprives them of experience and situational awareness. ### Source excerpt В 1983 году когнитивный психолог Лизанна Бэйнбридж опубликовала статью "Ironies of automation"1, о человеческом факторе в автоматизации. Статья - одна из наиболее цитируемых в области human-machine systems, о ней даже есть отдельная страница на википедии 2. Основная идея статьи: автоматизация какой-либо системы - перевод ее с ручного управления на автопилот - часто не улучшает, а ## Примеры зачастую полезнее объяснений DevFeed: [Примеры зачастую полезнее объяснений]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2021-08-15T09:30:00Z Content type: opinion Language: ru Sources: [\>рабочие заметки]() Topics: [документация]() Tags: [examples](), [tag-dc23c7266507]() ### AI overview The author argues that well-designed examples can make technical documentation easier to understand and more practically useful than lengthy explanations. Examples can orient readers, help solve concrete problems, and potentially reduce the cost of creating and maintaining documentation. ### Source excerpt Я тут осознал, что сильно недооценивал роль примеров (examples) для технической документации. Документация очень сильно выигрывает от хороших примеров. Продуманные примеры могут быстро сориентировать читателя - ввести в курс дела, и облегчить понимание более детального описания. Более того, хорошо подобранные примеры способны сходу предоставить читателю (= пользователю) решение конкретной ## Hidden Manufacturing Defects in Modern CPUs Can Produce Reproducible Incorrect Results DevFeed: [Hidden Manufacturing Defects in Modern CPUs Can Produce Reproducible Incorrect Results]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2021-06-14T15:41:00Z Content type: opinion Language: ru Sources: [\>рабочие заметки]() Topics: [cpu](), [bug](), [Google]() Tags: [bug](), [cpu](), [google](), [tag-88bad1e8f274]() ### AI overview The article discusses research by Google engineers and others suggesting that some modern CPUs contain hidden manufacturing defects that can reproducibly produce incorrect results for certain instructions. These defects may pass standard manufacturer testing and occur at an estimated rate of roughly 0.01% to 0.1% of server CPU cores. ### Source excerpt TL;DR: Инженеры гугла утверждают, что примерно 0.1% современных процессоров содержат дефекты, ускользнувшие от техконтроля производителя, из-за чего некоторые инструкции на таких процессорах втихую дают неправильный результат. Вероятно, доля таких производственных дефектов будет расти. Вероятно, пора отвыкать думать о процессоре как об идеальном вычислителе, и искать способы создавать такие ## Когда имеет смысл передавать IO в отдельный поток? DevFeed: [Когда имеет смысл передавать IO в отдельный поток?]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2021-05-24T08:17:00Z Content type: opinion Language: ru Sources: [\>рабочие заметки]() Topics: [IO](), [Latency](), [Low Latency](), [legacy]() Tags: [io](), [latency](), [legacy](), [low-latency](), [performance](), [queueing-theory](), [tag-e50b791533a6]() ### AI overview The article examines when sending network I/O on a separate thread can reduce response latency. It argues that a single-threaded design performs better under low load because it avoids inter-thread communication overhead, while a two-thread design can gain an advantage as load increases. Simulations show that the crossover point depends on the processing and coordination times. ### Source excerpt Допустим, у нас есть простая система, которая принимает запросы из сети, как-то их обрабатывает ("бизнес-логика"), и отправляет результат назад, в сеть. Мы заинтересованы в быстром отклике (=latency), а отправка - это IO, так что возникает идея ее снести в отдельный поток. Но тогда придется передавать данные из основного потока в поток отправки - а межпоточная коммуникация это какие-то ## Queueing theory for fun and practice #3: системы с потерями DevFeed: [Queueing theory for fun and practice #3: системы с потерями]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2020-08-09T10:59:00Z Content type: article Language: ru Sources: [\>рабочие заметки]() Topics: [queueing theory]() Tags: [queueing-theory](), [tag-e5017782b67f](), [theory]() ### AI overview This article explains queueing systems with losses, where tasks or customers are dropped because of limited buffers, queue capacity, or expiration timeouts. It discusses Erlang-C1 and Erlang-A2 models and their qualitative stability properties. ### Source excerpt Начальник отдела челобитных Апполинарий Матвеевич любит порядок, поэтому просители могут ожидать его внимания только смиренно сидя в приемной, а не толкаясь возле дверей присутственного места - оттуда их гоняет казак Семен. Какова должна быть посадочная вместимость приемной, чтобы не более 1 просителя в день ушло не солоно хлебавши, если пропускная способность Апполинария Матвеевича не более ## Queueing theory for fun and practice #2: нагрузка и время отклика DevFeed: [Queueing theory for fun and practice #2: нагрузка и время отклика]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2020-07-27T15:13:00Z Content type: tutorial Language: ru Sources: [\>рабочие заметки]() Topics: [queueing theory]() Tags: [fifo](), [queueing-theory](), [random](), [tag-e5017782b67f](), [theory]() ### AI overview This article explains how system load affects response time through internal queues and buffers. It discusses the characteristic J-curve, the difficulty of deriving a general analytical formula, and how queueing discipline, workload distributions, server allocation, and utilization influence waiting time. ### Source excerpt Во храме Божьей Матери Поклонской батюшка Иннокентий принимает исповедь у раба божьего обыкновенно минут за 10, а утешения жаждут около 5-и рабов божьих в час. Много ли стульев надобно поставить во храме, дабы исповеди ожидающие не толпились в праздности пред святым алтарем? "Массовое окормление паствы: пособие для начинающих" (редакция 3-я, неизданная) (Часть 2, начало: ТМО, square ## Queueing theory for fun and practice (#1): square root staffing, Little's law DevFeed: [Queueing theory for fun and practice (#1): square root staffing, Little's law]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2020-07-24T12:35:00Z Content type: tutorial Language: ru Sources: [\>рабочие заметки]() Topics: [queueing theory]() Tags: [operations](), [queueing-theory](), [research](), [square](), [tag-88bad1e8f274](), [tag-e5017782b67f](), [theory]() ### AI overview This introductory article begins a series on queueing theory, presenting the author's plan to explain simple, broadly applicable principles, their practical uses, and the assumptions behind them. The planned topics include terminology, capacity and scaling, Little's law, response time versus utilization, and Erlang systems. The author notes that the material is an informal personal summary rather than an expert treatment. ### Source excerpt На 28-ом этаже центра разработки крупного инвестиционного банка есть 8 туалетных кабинок для людей, идентифицирующих себя с мужским гендером... ## Design of everyday things DevFeed: [Design of everyday things]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2020-07-19T19:13:00Z Content type: opinion Language: ru Sources: [\>рабочие заметки]() Topics: [User Experience](), [API](), [Back end](), [Code]() Tags: [api](), [backend](), [code](), [code-style](), [tag-2c039dce53be](), [tag-8b0adca51b34](), [user-experience]() ### AI overview The author reviews Donald Norman's book The Design of Everyday Things and argues that its principles of user experience and interface design apply directly to backend software and APIs. A checklist for designing physical devices is reframed for application programmers working with APIs. ### Source excerpt Недавно прочитал "Дизайн привычных вещей" Дональда Нормана. Норман - computer scientist, и когнитивный психолог, известный и авторитетный специалист по эргономике. Он популяризовал сам термин "user experience", и был, вероятно, первым User Experience Architect - в Apple, что совершенно не удивляет. На его книгу я наткнулся совершенно случайно, и залип с первых страниц. Книга ## Charlie Gracie: Current state of JVM Escape Analysis and downstream optimizations DevFeed: [Charlie Gracie: Current state of JVM Escape Analysis and downstream optimizations]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2020-02-08T16:44:00Z Content type: opinion Language: ru Sources: [\>рабочие заметки]() Topics: [Java](), [Scala]() Tags: [analysis](), [c2](), [escape-analysis](), [java](), [jvm](), [jvm-internals](), [scala]() ### AI overview The article discusses a JFokus presentation by Charlie Gracie of Microsoft about a prototype stack-allocation implementation for Java 11 in the JVM's C2 compiler. It covers escape analysis and scalar replacement, and reports 5-15% performance improvements on Scala benchmarks, while noting that the proposed changes might be submitted for upstream adoption. ### Source excerpt Я уже какое-то время отошел от темы скаляризации и escape-анализа, но тут случайно наткнулся на любопытное видео с JFokus: Чарли Грасье из Микрософта рассказывает, как они для своих целей сделали прототип stack allocation для java 11. И даже не для Graal (где нынче чаще всего делают что-то новое), а для старого-доброго C2. Чарли начинает с краткого обзора escape-анализа и скаляризации в целом, ## Waiting time paradox #3: сервера и их очереди DevFeed: [Waiting time paradox #3: сервера и их очереди]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2019-05-23T16:17:00Z Content type: article Language: ru Sources: [\>рабочие заметки]() Topics: [systems](), [cpu](), [Java]() Tags: [cpu](), [java](), [queueing-theory](), [systems](), [tag-e5017782b67f]() ### AI overview The article explains how the waiting-time paradox appears in queueing systems. In a fictional server example, adding or removing a five-millisecond sleep changes the measured average request-processing time, illustrating that requests arriving while the server is busy may experience a residual waiting time. The characters, figures, and formulas are explicitly presented as fictional or simulated. ### Source excerpt Если происходит что-то странное, значит, где-то рядом автобусная остановка (Народная мудрость) (Продолжение серии про парадокс времени ожидания. Персонажи выдуманы, цифры получены из симуляции, формулы выведены специально сделанными людьми. В общем, все не по-настоящему, не пытайтесь повторить)Представьте себе сервер, на который приходят заявки, и очередь, где заявки могут чуток обождать, пока ## Waiting time paradox #1: автобусы, очереди, и хэш-таблицы DevFeed: [Waiting time paradox #1: автобусы, очереди, и хэш-таблицы]() Original publisher: [Read original article]() Author: Ruslan Cheremin (noreply@blogger.com) Published: 2019-04-30T07:37:00Z Content type: article Language: ru Sources: [\>рабочие заметки]() Topics: [queueing theory]() Tags: [queueing-theory](), [tag-35a4c7fafefe](), [tag-e5017782b67f](), [theory](), [time]() ### AI overview The article explains the waiting time paradox using bus arrivals. Although the average interval between buses may be 10 minutes, people are more likely to arrive during longer-than-average intervals, so their average wait can exceed the intuitive estimate of five minutes. It also introduces related examples involving hash-table searches and request processing. ### Source excerpt Ничего не доводи до крайности: человек, желающий трапезовать слишком поздно, рискует трапезовать на другой день поутру. (Козьма Прутков) ...парадокс времен ожидания, или почему автобуса приходится ждать дольше, чем казалось бы, почему успешный поиск в хэш-таблице скорее всего медленнее, чем неуспешный, и почему иногда среднее время обработки запроса можно уменьшить, если добавить в цикл