В 1966 году организовал в Институте биофизики сбор подписей под обращением в Президиум Верховного Совета СССР в защиту Андрея Синявского и Юлия Даниэля, осужденных за "антисоветскую пропаганду". В обращении осуждение писателей за публикацию своих произведений за границей называлось незаконным, нарушающим советскую Конституции. Позже Сергей Ковалев подчеркивал, что апелляция к праву была не случайной. "Эта форма протеста, в отличие от подпольных и насильственных методов, является нравственно куда более приемлемой", – писал он.
С 1968 года после ввода советских войск в Чехословакию Ковалев примкнул к возникавшему тогда движению в защиту прав человека в СССР.
В мае 1969 года вошел в состав Инициативной группы защиты прав человека в СССР – первой независимой правозащитной общественной ассоциации в стране. В том же году был уволен с должности заведующего отделом межфакультетской лаборатории математических методов в биологии МГУ.
С 1971 года – один из ведущих участников издания "Хроники текущих событий" – машинописного информационного бюллетеня советских правозащитников, в котором с удивительной для тех условий точностью фиксировались нарушения прав человека в СССР.
В конце 1972 году под давлением КГБ издание "Хроники" было приостановлено, однако год спустя редакторы приняли решение возобновить издание. 7 мая 1974 года три члена Инициативной группы – Ковалев, Т.Великанова и Т.Ходорович заявили, что отказываются впредь подчиняться шантажу и берут на себя ответственность за дальнейшее распространение "Хроники". В заявлении, подписанном ими 7 мая 1974 года, говорилось: "Не считая, вопреки неоднократным утверждениям органов КГБ и судебных инстанций СССР, "Хронику текущих событий" нелегальным или клеветническим изданием, мы сочли своим долгом способствовать как можно более широкому ее распространению. Мы убеждены в необходимости того, чтобы правдивая информация о нарушениях основных прав человека в Советском Союзе была доступна всем, кто ею интересуется".
В одном из выпусков "Хроники", посвященном узникам политических лагерей, сообщалось об инициативе узников пермских политлагерей объявить 30 октября Днем политзаключенного в СССР (с 1991 года это официально признанный День памяти политических репрессий). 30 октября 1974 года Сергей Ковалев и другие издатели "Хроники" провели на квартире Андрея Дмитриевича Сахарова пресс-конференцию, посвященную Дню политзаключенного. С 1991 года этот день отмечается в России как день памяти жертв политических репрессий.
28 декабря 1974 года Ковалев был арестован по обвинению в "антисоветской агитации и пропаганде". Центральным пунктом обвинения было участие в издании "Хроники текущих событий"; ему также инкриминировалось распространение книги Александра Солженицына "Архипелаг ГУЛАГ". В декабре 1975 Сергей Ковалева был приговорен к 7 годам лагерей строгого режима и 3 годам ссылки. Виновным себя Ковалев не признал, последнего слова на суде был лишен. Срок отбывал в Скальнинских (Пермских) лагерях и в Чистопольской тюрьме; в ссылку был отправлен на Колыму. По отбытии срока ссылки жил в городе Калинине, работал сторожем.
В годы перестройки вернулся в Москву. Принимал участие в различных общественных инициативах: входил в оргкомитет Международного гуманитарного семинара (декабрь 1987), участвовал в создании пресс-клуба "Гласность", один из основателей, с 1990 года сопредседатель общества "Мемориал".
В декабре 1989 года по настоянию Андрея Дмитриевича Сахарова выдвинул свою кандидатуру на Съезд народных депутатов РСФСР и в марте 1990 года был избран от одного из московских округов уже в первом туре голосования. 1-й Съезд народных депутатов выдвинул Ковалева в члены Верховного Совета РСФСР, был председателем Комитета по правам человека ВС РСФСР.
Сергей Ковалев – один из авторов Российской декларации прав человека и гражданина (январь 1991) – рамочного документа, определившего будущие конституционные нормы Российской Федерации в области прав человека. Основываясь на этой Декларации, войдя в Конституционную комиссию Съезда, сформулировал основные статьи соответствующего раздела (2-й главы) ныне действующей Конституции России.
Комитет по правам человека под председательством Ковалева разработал и провел через Верховный Совет ряд законов, в частности, "О реабилитации жертв политических репрессий" (1991 год); "О чрезвычайном положении" (1991 год); "О беженцах" и "О вынужденных переселенцах" (1993 год).
Как председатель парламентского комитета, а затем – президентской комиссии, неоднократно выезжал в "горячие точки" СНГ и России: Нагорный Карабах, Приднестровье, Таджикистан, зону осетино-ингушского конфликта.
В 1993 году участвовал в выборах в Государственную думу в качестве кандидата от партии "Выбор России", выиграл выборы в Чертановском одномандатном округе Москвы. До 2001 года был членом Политсовета партии "Демократический выбор Росси".
С 1993 - председатель Комиссии по правам человека при президенте России.
В 1994 года был избран Государственной думой первым уполномоченным по правам человека в России.
В декабре 1994 года Сергей Ковалев выступил резко против действий федеральной власти в Чечне. До марта 1995 года большую часть времени проводил в районе боевых действий. В декабре 1994 года Сергей Ковалев был одним из немногих источников информации для российских СМИ об истинном положении дел в республике, о ходе боевых действий, в частности, о боях в Грозном и бомбардировках Грозного. Деятельность Сергея Ковалева вызвала негативную реакцию в президентских и правительственных структурах. Министр обороны Павел Грачев назвал его "врагом России".
При поддержке общества "Мемориал" и ряда других общественных организаций создал Миссию уполномоченного по правам человека на Северном Кавказе. В марте 1995 года Сергей Ковалев был смещен с должности уполномоченного по правам человека.
Ковалев и его коллеги сыграли важную роль в спасении заложников в Буденновске в июне 1995 года, вместе с несколькими депутатами журналистами он стал добровольным заложником, взамен захваченных в буденовской больнице.
В декабре 1995 года вновь был избран депутатом Государственной думы по одномандатному округу.
В январе 1996 года вошел в состав российской делегации на Парламентской ассамблее совета Европы по квоте фракции "Яблоко".
5 февраля 1996 года подал в отставку с поста председателя Комиссии по правам человека при президенте РФ и из других президентских структур; опубликовал в "Известиях" открытое письмо президенту Ельцину, в котором обвинил последнего в отступлении от демократических принципов и возложил на него ответственность за бездарную и кровавую политику в чеченском вопросе.
Выступал резко против избрания Бориса Ельцина на второй срок. На президентских выборах 1996 года поддержал кандидатуру Григория Явлинского.
На парламентских выборах 1999 года был избран в Государственную думу по списку Союза правых сил, однако в партию СПС после роспуска ДВР в 2001 году не вступил.
В 2000 году Сергей Ковалев вошел в состав инициативной группы, выдвинувшей Григория Явлинского кандидатом в президенты России. Характеризуя другого кандидата - исполняющего обязанности президента Владимира Путина, на собрании инициативной группы, он заявил: "Этот вектор направлен на конструирование авторитарного полицейского государства, где у власти в явном или, что того хуже, в не вполне явном виде будут присутствовать спецслужбы".
На выборах в декабре 2003 года баллотировался в Государственную думу по региональному списку Российской демократической партии "Яблоко" в Санкт-Петербурге.
28 сентября 2006 года Сергей Ковалев вступил в партию "Яблоко". 29 сентября 2006 года избран сопредседателем "правозащитной фракции" партии "Яблоко".
По списку партии "Яблоко" баллотировался в Государственную думу 2 декабря 2007 года.
С сайта yabloko.ru