В состав лимбической системы входят несколько связанных друг с другом образований. К ней относятся некоторые ядра передней области таламуса, а также расположенный ниже небольшой, но играющий одну из важнейших ролей участок мозга – гипоталамус. Он, в частности, контролирует большинство физиологических изменений, сопровождающих сильные эмоции. Глубоко в боковой части среднего мозга лежит миндалина (миндалевидное ядро) – клеточное скопление величиной с орех, которое ответственно за агрессивное поведение или реакцию страха. По соседству с миндалиной находится гиппокамп, повреждение которого приводит к нарушению памяти – к неспособности запоминать новую информацию. Многочисленные функции, выполняемые лимбическим комплексом, могут быть сведены к двум важнейшим задачам: сохранение собственной жизни особи и сохранение популяции и вида.
Сближение на уровне мозга структур, отвечающих одновременно за сексуальность, страх и агрессию, объясняет неразрывность всех этих феноменов в поведении. У низших млекопитающих борьба включается в стереотипы, предшествующие как пищедобывательным, так и сексуальным формам поведения. У слепых щенков можно наблюдать проявления ярости в единоборстве со своими собратьями за обладание материнским соском, тесно связанные с возникновением у них в этой ситуации спонтанных (самопроизвольных) эрекций. В опытах с погруженными электродами на пространстве, разделенном долями миллиметра, можно получить резкий переход от сексуальной установки с выраженной эрекцией к стереотипам страха и ярости. Разрушением у собак части лимбической системы были смоделированы спаянные в едином поведенческом стереотипе такие полярные эмоциональные феномены как виляние хвостом и оскаливание клыков. Решение природы сблизить все эти феномены выглядит особенно мудрым, если учесть их неразрывную связь в поведении. Нанесение повреждений другой особи обычно сопряжено с риском пострадать самому, и нападение на соперника часто сопровождается самозащитой. Поэтому часто тенденция к нападению одновременно связана с тенденцией к бегству, а во многих позах угрозы отражаются обе тенденции. Более того, позы угрозы, за которыми может последовать нападение на соперника, встречаются вперемежку с позами подчинения. Таким образом, нападение, угроза, подчинение, бегство образуют сложный комплекс, который часто называют «агонистическим поведением», выделить из которого собственно агрессивное поведение достаточно трудно.
При наличии таких одновременных тенденций к двум несовместимым типам поведения обычно говорят, что они находятся в конфликте. Один из значимых конфликтов, характерных для всех видов млекопитающих, существует как раз между ухаживанием и угрозой. Его можно рассмотреть на примере поведения зябликов. В начале брачного сезона самец зяблика начинает угрожать другим птицам в стае. Самки, готовые образовать брачную пару, не улетают. Самец же постепенно воздерживается от проявлений агрессивности и переходит к ухаживанию. Если вначале он принимал позу угрозы, то теперь он стоит боком к самке. Такая перемена связана с изменением в доминировании: первоначально самец доминирует над самкой, но теперь самка постепенно берет верх и начинает отгонять его от корма. На более поздних стадиях ухаживания самец приближается к самке только после некоторых колебаний. Он подходит к ней мелкими шажками, идет не прямо, а зигзагами, многие его попытки спариваться оканчиваются безрезультатно из-за страха перед самкой. Таким образом, самка может вызвать у самца реакции нападения, бегства и половое поведение. Какое именно поведение возобладает, зависит от стимулов, исходящих от самки, и от внутреннего состояния самца. В самом начале брачного сезона самец ведет себя по отношению к самке в основном агрессивно. По мере усиления полового возбуждения равновесие между тенденциями к нападению и бегству постепенно сдвигается в сторону последней, и самец начинает вести себя так, словно боится самки. Когда же позднее перевешивает первая тенденция, самец делает садку, но после спаривания тут же улетает, издавая характерный крик, которые он обычно издает при виде летящего хищника.
У животных, образующих пару хоть на какой-то срок, агрессия и страх имеют тенденцию к исчезновению по мере того, как партнеры узнают друг друга, однако они редко исчезают совсем. Таким образом, все разнообразие угрожающего поведения и поведения ухаживания можно понять, исходя из предположения о существовании небольшого числа амбивалентных (двойственных) поведенческих тенденций.
Наиболее известным поведенческим феноменом, возникающим в конфликтных ситуациях, является смещенная активность, привлекающая все большее внимание психиатров для объяснения целого ряда чисто психопатологических явлений. Этим термином обычно обозначается поведение, которое никак не связано ни с одной из конфликтных тенденций, явно не соответствует обстановке, в которой реализуется, и большинство видов которого представляет собой наиболее легко вызываемые и наиболее часто выполняемые поведенческие акты. Для объяснения данного типа поведения первоначально была предложена «гипотеза растормаживания», отводившая конфликту подавляющую роль, когда из-за взаимной несовместимости не возникают те виды активности, которые должны были бы появиться в первую очередь, а возникают акты поведения, которые иначе были бы подавлены.
В настоящее время показано, что смещенная активность проявляется обычно в точке равновесия между двумя различными мотивационными тенденциями и проявляется в трех различных ситуациях: при физическом сдерживании аппетитивного (подготовительного) поведения; при сдерживании консумматорного (завершающего) поведения и при одновременной активации несовместимых тенденций. Тинберген подразумевал, что смещенная активность может при этом облегчать напряжение и действовать как отдушина для выхода нервной энергии, часто связана с инстинктом комфорта. Смещенная активность, как правило, бывает незавершенной и более короткой по сравнению с обычными однородными действиями, часто наблюдается при половых или агрессивных столкновениях, когда прежде всего и возникают мотивационные конфликты. Одной из основных черт смещенной активности является ее ритуализация, в основе которой, как полагают, лежит эволюционный процесс, благодаря чему определенные комплексы поведения модифицируются таким образом, чтобы осуществлять коммуникативную функцию. В процессе ритуализации формы поведения претерпевают различные изменения, становятся стереотипными и неполными. Движения становятся незавершенными и порой превращаются просто в символические акты.