根据考古发现，奥地利在旧石器时代已经有人类活动。
约公元前750～前450年间，此地已属早期铁器时代，伊利里亚人在这里创造出有较高水平的哈尔施塔特文化。
公元前400年左右，有多个凯尔特人的部落在此地区活动。公元前15年罗马帝国占领了凯尔特王国诺里库姆并设立为行省。
罗马帝国衰落后奥地利曾先后被匈奴人、伦巴第人、东哥特人、西哥特人、阿瓦尔人、巴伐利亚人和法兰克人占据。一支斯拉夫部落向阿尔卑斯地区迁移，占据了现今奥地利的中部和东部地区，建立了卡拉塔尼亚王国。
公元788年查理曼征服了该地区，鼓励拓殖，并引进了基督教。后来查理曼帝国一分为三，包括奥地利地区在内的东法兰克由巴本堡王朝继承。该地区被称为“marchia Orientalis”（“东方边疆领”之意），976年被赠予巴本堡的利奥波德。
奥地利这个名字最早见诸记录是在996年，当时写作Ostarr?chi，用以表示巴本堡王朝的边疆领地区。1156年的小特权将奥地利升格为公国；1192年巴本堡王朝又获得了施蒂利亚公国。1246年奥地利的腓特烈二世死后，巴本堡王朝绝嗣，奥地利遂落入波希米亚的普热米斯尔·奥托卡二世之手。但1278年在边疆领之战中奥托卡二世败于德意志的鲁道夫一世，从此直至第一次世界大战结束后为止，奥地利一直受哈布斯堡家族统治。
哈布斯堡家族在14、15世纪积极扩张领土。1526年奥地利取得了波希米亚和奥斯曼帝国未有占领的匈牙利，两大帝国之间的摩擦日益增多。1683年9月12日的维也纳之战中奥地利联合来自波兰的援军将围困维也纳两个月之久的奥斯曼帝国军队击败。这场战役阻止了奥斯曼帝国向欧洲中西部扩张的行动，并维持了哈布斯堡王朝在中欧的霸权；随后的一连串军事行动，导致1699年卡尔洛夫奇条约的签订，奥地利获取匈牙利全境。从此至1806年神圣罗马帝国覆亡之前，哈布斯堡家族便等同神圣罗马帝国。
随着普鲁士的崛起，奥地利开始了与普鲁士之间长期的争夺德意志地区霸权的斗争。同时奥地利也先后伙同普鲁士及俄罗斯两次参与瓜分波兰（第一次和第三次）。
1806年神圣罗马帝国解体，而在此两年前，弗兰茨一世（即神圣罗马帝国的弗兰茨二世皇帝）宣布自己为奥地利帝国的皇帝，统治范围是以奥地利为中心的哈布斯堡王朝世袭领地。
1867年，为了化解奥地利在1866年的普奥战争中的失利对帝国的冲击，哈布斯堡王朝被迫对帝国内强大的匈牙利贵族做出妥协，宣布将奥地利帝国更改为所谓共主邦联—奥匈帝国，匈牙利地区在理论上升级为奥匈帝国内部的一个王国，并拥有自己的国王（在奥匈帝国半个世纪的历程中，匈牙利国王始终由奥匈帝国皇帝兼任），议会和海关系统等；这种局面一直维持到第一次世界大战结束为止。
1908年，奥匈帝国吞并了波黑，引发了1914年的萨拉热窝事件，成为一战的导火索。
在一战中战败的奥匈帝国被分割为多个小国家，其中原先内莱塔尼亚的一部分成为了奥地利第一共和国（在1918年10月21日至1919年9月21日间的11个月称为“德意志奥地利”），并被禁止与德国（即当时的魏玛共和国）合并。
1938年，纳粹德国实现了德奥合并，奥地利到二战结束前的7年都受其统治。
纳粹德国于1945年战败后，奥地利被同盟国和苏军分别占领，直到1955年奥地利国家条约签订为止。在奥地利宣布成为永久中立国之后，占领奥地利的各国军队陆续撤离，奥地利最终获得独立并成为今天的奥地利第二共和国。
1989年，东欧共产主义政权解体后，奥地利逐渐参与更多的欧洲一体化进程，并于1995年加入欧盟，又于1999年加入欧元区。
