Клуб, заснований був 21 серпня 1901 року, відвідувачами одного з місцевих пабів, «Брайтон Альбіон» який грав у Південній футбольній лізі до того, як перейти в Футбольну Лігу в 1920 році.
Не минуло багато часу з моменту заснування клубу, як «чайки» почали виступати у регіональній Південній лізі, де їм вдалося перемогти у сезоні 1909/10. Завдяки цьому тріумфу, Брайтону отримав можливість зіграти з «Астон Віллою» за Суперкубок Англії, який за правилами мав відбутися між чемпіонами Південної та Футбольної ліг. Незважаючи на те, що Брайтон вважався фаворитом у цій зустрічі, Брайтону вдалося перемогти з мінімальним рахунком 1:0 і стати володарем єдиного досі у своїй історії Суперкубку Англії[2].
У Перший дивізіон клуб вперше вийшов 1979 року й грав у ньому до 1983 року, вийшовши також в цей період у фінал кубка Англії 1982—1983, де поступився в переграванні «Манчестер Юнайтед» (2:2 і 0:4). Відхід з команди багатьох лідерів, зокрема, захисника Марка Лоренсона, привів до вильоту «Брайтона» з вищого дивізіону Англії.
У сезоні 1996—1997 «Брайтон» зайняв 23 місце з 24 у Третій Лізі, маючи однакову кількість очок з «Герефорд Юнайтед», випередивши їх лише за рахунок додаткових показників. У наступному сезоні ситуація повторилася — знову передостаннє місце, але цього разу цього разу від аутсайдера, «Донкастер Роверз», «Альбіон» відділяло 15 очок. Також 1997 року був закритий стадіон «Голдстоун Граунд», на якому клуб виступав з моменту свого створення. «Брайтон» був змушений переїхати на менш місткий «Вітден Стедіум», один з небагатьох англійських стадіонів з біговими доріжками.
Після цього клуб заробив підвищення в лізі і навіть зміг на один сезон піднятися в Чемпіоншип 2005 року. Але не зміг втриматися і повернувся до Ліги 1, де на кілька сезонів влаштувався в середині таблиці.
12 квітня 2011 року «чайки» під керівництвом Гуса Поєта, за п'ять турів до кінця сезону в Лізі Один, здобули домашню перемогу над столичним клубом «Дагенем енд Редбрідж» з рахунком 4:3 і забезпечили собі перше місце і вихід в Чемпіоншип.
До сезону 2011—2012 у клубу з'явився новий стадіон — «Фалмер», місткістю більше 22 тисяч глядачів.